Open in app

Sign in

Write

Sign in

中山大學經濟所職涯座談(三) ：讓資料變商機 — 資料分析在我們生活中的應用

資料分析的流程、軟實力的體現與應用實例

邱國欣（Andy Chiu)
12 min readNov 25, 2018
加班配開票，充實

上一篇文章（從事資料分析？你需要具備這8個能力）的最後，提到資料科學家所需要具備跨領域的多元能力，分別為含電腦能力、數學、產業/領域知識。也提到要具備的4個硬實力&4個軟實力。

這些需求，這都是為了更好的支持工作內容；如果了解“資料分析的流程”，我想會更容易理解這句話的意思。

因此開頭先介紹資料分析的流程，接著看相對應的職位以及軟實力如何影響工作展開。最後看跟經濟學有關的三個實例(回歸模型、差別定價＆誘因相容)以及其他各種方向的應用。

文章架構：
  一、資料分析的流程
  二、資料分析的眾多Title＆軟實力的展現
  三、資料分析的應用領域＆3個在經濟學的應用
(文長3,000字，建議電腦/iPad閱讀)

邀請你至Blog閱讀全文：中山大學經濟所職涯座談(三) ：讓資料變商機 — 資料分析在我們生活中的應用
如果你喜歡我的文章，也邀請你訂閱『Rock Data』電子報，支持我持續創作

資料分析的流程

對於資料分析，我們的目標是從眾多數據中，萃取出有價值的資訊，支撐業務的發展；也就是提供決策的重要參考。其中的價值包含但不限於

  • 資訊在BI平台即時展現
  • 特定主題的深度分析報告
  • 算法策略(例如Facebook/Youtube的推薦)。

不論你要產出上述哪一種結果，數據都是最基本的元素。如果做過實證分析的話，相信多少可以體驗到找數據是一個痛苦的過程，好不容易找到需要的資料就很開心的丟進model跑。但再深入想想，你找到的這些數字，又是如何產出的？邏輯是什麼？即便大型機構公布的數據具有公信力，但是最符合你模型需要的嗎？

幸運的是，在一家企業中，原始數據通常會由數據倉儲團隊來負責儲存，不必到處亂找。但相對的，你必須深入了解數據是怎麼儲存的、邏輯是什麼。

以電商的例子來說，你現在拿到了用戶的訂單資料，但你知道這些訂單包含了已付款訂單、未付款訂單嗎？那你需要的數據是哪種？要不要排除未付款訂單？

這個問題是沒有標準答案的，需要依賴你對業務的了解及分析內容的定義。

In computer science, garbage in, garbage out。

數據倉儲人員，也需要具備分析領域的知識，這可以幫助他們對原始數據儲存的規劃。這也是為什麼數據科學家要同時具備電腦能力、數學、產業/領域知識的原因。

整個流程統整起來的話，大致是下圖這些步驟

資料分析的流程，

資料分析的眾多Title＆軟實力的展現

資料分析的眾多Title

上面的內容希望你多少能夠體會資料分析是一個協同作戰，且領域知識龐大，基本上很難有人可以專精所有面向。因此不同擅長的方向各也有對應的的職位。

看到這個圖，你可能會想，為什麼Title這麼多？

其中一個原因是資料分析這領域還在發展中，因此對Title的定義還沒有形成明顯的規範，也有可能發生A公司的數據分析師工作內容=B公司的數據產品經理。(更詳細的內容可以參考：談談數據分析的眾多Title)

軟實力的展現

硬實力是很好理解的，因此我想著墨一下為什麼需要這4個軟實力？這4個軟實力是如何影響分析工作的展開？

1. 邏輯思維

台灣的教育方式，通常會給我們標準答案。但人類發展上，進步就是一直保持懷疑，並找到更好的方法。以分析來說，一個問題解法絕對不只一種。拿經濟學最熟悉的回歸模型來說吧。線性迴歸模型比較好嗎？還是多元線性回歸？或是根本不要用回歸，能不能用聚類分析？

假設聚類分析比較好，那是好到多少？假設準確率能提升1%，但花的時間要延長2週，這樣效益會更好嗎？

另外，以往學過的理論，在面對不能場景下，能不能拓展並適用？

我所認識的優秀分析師，基本上接受到問題時，腦中都能快速閃過各種方法的優劣評估。

2. 業務理解

業務的理解主要會影響到“定義問題”，因為業務方常常會丟出假議題(提出的分析需求不能確實解釋問題)。

舉例來說，電話客服主管注意到服務滿意度一直在下降，他認為客服人員無法確實解決客戶問題，因此想加大培訓力道。提出了一個分析需求

給了滿意度不佳的客戶，主要是問了什麼類型的問題？

為什麼說這可能是假議題？

會不會是客戶變多了，進線量也跟著增加，而客服的人力沒增加，因此等待時間增加，導致客戶不滿？

如果是這個原因，那要做事情就不是培訓了。而是考慮增加人力或是常見問題機器人自動回覆的功能。再來，如果這是影響公司滿意度的一項明顯因素，是不是應該將此數據在報表平台上即時展示，以利追蹤。

3. 溝通協調

你服務的對象是業務方，那就必須讓他了解，你要做的事情確實能幫助他們解決問題。你必須把技術語言翻譯成易懂的表達。乃至於溝通產出時間，產出的形式、可能面臨的風險。這樣雙方的配合才會更高效。

4. 保持好奇心持續學習

資料分析的領域不斷在發展，應用層面越來越廣泛，商業環境更是變遷快速；會一直有新的技術出來、也會有新的問題發生。在這狀況下，持續學習的重要性就不言可欲了。就像內生成長理論說的，Learning by doing。

以上內功的書籍，有一本簡體字的書叫数据挖掘与数据化运营实战，我覺得內容還滿好的。(讀後感_数据挖掘与数据化运营实战)

從分析師的等級來看，在問題識別、應用價值、執行與管理能力、影響力這四點，也是軟實力的體現。

資料分析師的等級

資料分析的應用領域＆3個在經濟學的應用

邀請你至Blog閱讀全文：中山大學經濟所職涯座談(三) ：讓資料變商機 — 資料分析在我們生活中的應用
如果你喜歡我的文章，也邀請你訂閱『Rock Data』電子報，支持我持續創作

1. 電信業的高風險用戶挽留

這個例子是電信業的高風險用戶模型，我們稱為churn model，目標是判斷哪些客戶是可能流失的，這樣在用戶真的流失前，就可以用簡訊、電話等方式提前溝通，或是在客戶進門市辦理業務時，用一些隱藏的優惠方案讓他們快點續約。

實現方式就是你們熟悉的回歸模型，只是變量從經濟的指標換成其他特徵。

當你時常手機收到續約短信、或是門市人員對你特別熱情，恩…你可能已經被tag成高風險用戶了。

2. Uber的差別定價

搭過Uber應該有經驗，在某些時段，例如早晚高峰或是下大雨的日子，叫車時會有一些費用的加倍(例如＊1.5)。究竟1.5這個數字是如何出來的？甚至兩個人在同時叫車，一位是加價1.5倍、一位卻只加價1.3倍。

這個應用非常經濟學，Uber在計算你的價格彈性、得出你的需求曲線，以進行差別取價剝奪消費者剩餘。而且實現了傳統理論中幾乎不可能實現的第三級差別定價。

Uber 呈現了經濟學家理想中經濟應有的模樣。

另外議題是，這些策略對社會福利是合理的嗎？Uber在眾多議題上，為了跟政府周旋，還請一票經濟學家在協助。

參考文章：Uber的斷點回歸設計、Uber 的秘密武器是一票經濟學家 、Uber’s secret weapon is its team of economists

3. 業務制度設計

這個例子是關於制度經濟學(Institutional economics)。假設公司的銷售都依賴於銷售員，為了要讓公司利潤極大，我該如何設計一套制度，讓業務盡可能有動力的去銷售？最常見的方式就是薪資結構設計(誘因薪資)。那麼，究竟要高底薪低抽成好，還是低底薪高抽成？

再來，公司有一批潛在客戶名單，這些名單該如何分配給不同的業務，以達成公司有最多成交客戶的目標？好名單分配給好業務嗎？還是平均分配？

近一步，好名單是如何定義？好業務是如何定義？客戶有新進客戶，業務也有新進業務，我無法判斷他是好是壞，這裡面該設計怎樣的考核方式或升等機制？

而這個議題因為會牽扯到較多利益結構、也更容易受公司策略變化的影響(例如策略由追求市佔率轉變為盈利)，我自己經驗比上面兩個例子複雜許多(需要常吵架跟妥協)。

4. 其他應用領域

最後

邀請你至Blog閱讀全文：中山大學經濟所職涯座談(三) ：讓資料變商機 — 資料分析在我們生活中的應用
如果你喜歡我的文章，也邀請你訂閱『Rock Data』電子報，支持我持續創作

  • 投影片我傳到了SlideShare上，如果對投影片有興趣可以來這邊。
  • 把演說改成問字內容比我想像的還耗心力，為了符合文章的呈現方式，我把內容進行了重新排列，因此投影片跟這三篇文章會存在順序上的差異。
  • 今年4月左右開始陸續寫資料分析的文章，到這篇是第10篇，看著還滿感動的，有種喘一口氣的感覺。我覺得我已經把我目前所了解的資料分析基本知識大概說完了。白話文就是我要沒梗了(ha)。如果有任何想了解的方向歡迎跟我說，期待你能提供我點靈感、也期許自己能回答你的疑問。
  • 我是一個思想很發散的人，往好的說就是有創意跟聯想力，往差的說就是聚焦不足(因為眾多事件跟事件之間本就環環相扣彼此糾葛)。當初寫文章最原始目的單純是想訓練我自己的思緒，而有你們的閱讀及肯定，這是我意料之外的收穫，感恩～

邀請你至Blog閱讀全文：中山大學經濟所職涯座談(三) ：讓資料變商機 — 資料分析在我們生活中的應用
如果你喜歡我的文章，也邀請你訂閱『Rock Data』電子報，支持我持續創作

1. Hello All：主站遷移至👉https://andyrockdata.com/ ，請改至『ROCK DATA』Blog 閱讀新文章完整內容，如果喜歡我的文章，可以訂閱我的電子報(Medium站仍將張貼新文章訊息)2.立即追蹤👉ROCK DATA臉書粉絲頁跟ROCK DATA IG(@andyrockdata)3.【入門數據分析，掌握HiveSQL取數能力】在hahow上架啦，購買連結👉 http://hahow.in/cr/andyrockhive4. 半佛系鼓掌：原來只要滑鼠一直按著不放就可以一直鼓掌了。那請你按久一點：）有任何想法或感興趣的地方歡迎留言/討論，或者私訊我！5. 往期的數據相關文章可以參考以下link
Data Analysis
Careers
Data Science

--

--

邱國欣（Andy Chiu)
邱國欣（Andy Chiu)

Written by 邱國欣（Andy Chiu)

2.7K Followers
143 Following

文章內容以數據為主軸，分享工作跟生活的心得與總結，希望我的經歷，可以或多或少幫助到大家。如果你熱愛你所做的事，那麼你肯定會暫時遺忘了時間！「 ROCK DATA | 玩搖滾的數據人 」Blog：https://www.andyrockdata.com

Responses (3)

Help

Status

About

Careers

Press

Blog

Privacy

Terms

Text to speech

Teams