資料科學上課筆記 (一)

今天聽了公司資料科學課程第一課, 隨手簡單記下要點 (不太完整) :

資料科學 : 從資料中找關係, 從資料到決策的過程 (KDD, Knoeledge Discovery Decision)

現代資料科學=大數據+機器學習

資料科學的兩個流派 : 

• Problem-driven (統計學) : 演繹法
• Data-driven (資料探勘) : 歸納法

從資料中找關係的方法 :

• 統計分析 : 解釋資料分布之間的關係
• 機器學習 : 自動從現有資料獲得的規律預測未來的資料
• 資料探勘 : 尋找資料與資料間的關聯

大數據的定義 :

• 3V : 多樣, 即時, 大量
• 資料量大到需要分散式運算才能處理
• 抽樣的樣本量接近母體量

開放資料 : 不受專利權, 著作權等限制, 可自由運用之公開資料 (授權+可存取)

數據 (data) -> 資訊 (information) -> 智慧 (knowledge) + 經驗 (experience) -> 決策 (decision)

資料科學 : 利用資料產生可以幫助決策的模型

模型 : 從資料中學習規則的黑盒子

學習資料科學的三階段 : 

1. 先了解如何用
2. 了解背後的原理
3. 打造自己的機器學習模型

資料科學專案中最耗時的是資料清理, 其次是收集資料集, 而不是訓練模型. 資料才是資料科學的核心, 所謂資料科學家其實是資料黑手. 

資料科學是跨領域的方法論, 需要資工, 統計, 數學, 醫學, 生物, 金融, 經濟等跨領域人才的整合.

資料科學是綜合性的能力 : 

• 技術力 (程式能力)
• 分析力 (統計能力)
• 應用力 (領域知識能力)

大數據分析師國際認證 (APMG)