PyTorch 線上課程筆記 : 機器學習與深度學習 (二)

今天繼續聽 PyTorch 線上課程第二課, 本系列之前的筆記參考 : 

# PyTorch 線上課程筆記 : 機器學習與深度學習 (一)

今日筆記如下 :

1. 學 AI 必上的課程 : 
   (1). 史丹佛大學 CS231n 課程
   (2). 台大林軒田教授機器學習基石&技法
   (3). 台大李宏毅教授機器學習課程
2. 一般程式利用邏輯條件來判斷也是人工智慧之一 (例如判斷質數), 稱為 rule-based AI , 但這些規則以外的問題完全無法解決. 
3. 學習就是獲得解答的能力, 學習的重點是 how to learn 而非 what to learn. 
4. 機器學習是希望機器透過資料去找出邏輯 (函數關係), 找出接近完美函數的函數. 機器學習是利用資料與演算法, 從假設集函數 (set of function) 中找出一個與完美函數無限接近的最佳函數.
5. 遷移學習 (transfer learning) 是將某領域 (可以完全不同) 訓練得到的模型拿來做預測 (經過一些 fine-tunning), 此作法可以節省大量訓練時間. 
6. Deep learning -> Structure learning (最難的)  
7. 吳恩達 : 目前 99% 的 AI 都是 Deep Learning.
8. Alpha Go 作者 David Silver : AI=DL+RL
9. DL 的基礎知識 : 
   (1). 神經元 (neuron) : 已脫離生物學, 偏向統計學與信號學
   (2). 權重 (weight) 與偏移 (bias) : 就是函數的所有變數
   (3). 損失函數 (loss function) : 達成最佳化的技術
   (4). 線性迴歸 (linear regression) : 直線的分布情況 (做分類)
   (5). 邏輯迴歸 (logistic regression) : 不是直線分布
   (6). 啟動函數 (activation function) : 代表神經元的特色
   (7). 神經網路 (neural network) 
   (8). 層 (layer), 輪 (epoch, 同樣跑幾回), 批次 (batch, 資料分拆)
   (9). 訓練 (train), 驗證 (validation), 測試 (test)
   (10). 梯度下降 (SGD) : 損失函數對權重的偏微分
   (11). 學習率 (learning rate) : 控制梯度下降的速度
   (12). 連鎖率 (chain rule) : 反向傳遞的計算基礎
   (13). 反向傳遞 (back propagation)
   (14). MSE (Mean Square Error)
   (15). 交叉熵 (cross entropy) : 分類用的損失函數
   (16). Softmax
   (17). Normalization, Regularization
10. 關於 PyTorch :
    (1). 高速且彈性最大的 DL 框架
    (2). PyTorch 的張量提供與 Numpy 陣列完全相同之運算
    (3). PyTorch 的張量可在 GPU 執行, 但 Numpy 陣列不行
    (4). 支援自動微分功能
    (5). 支援所有張量流 (flow) 運算
    (6). 提供類神經模組 nn
    (7). 內建電腦視覺處理
    PyTorch 中的張量物件 torch.Tensor.
11. 何謂 Tensor :
    0 維 Tensor=純量
    1 維 Tensor=向量
    2 維 Tensor=矩陣
    3 維以上 Tensor=張量
    張量在神經網路中流動時維度會改變 -> TensorFlow