2022年5月31日 星期二

PyTorch 線上課程筆記 : 機器學習與深度學習 (二)

今天繼續聽 PyTorch 線上課程第二課, 本系列之前的筆記參考 : 


今日筆記如下 :
    1. 學 AI 必上的課程 : 
      (1). 史丹佛大學 CS231n 課程
      (2). 台大林軒田教授機器學習基石&技法
      (3). 台大李宏毅教授機器學習課程
    2. 一般程式利用邏輯條件來判斷也是人工智慧之一 (例如判斷質數), 稱為 rule-based AI , 但這些規則以外的問題完全無法解決. 
    3. 學習就是獲得解答的能力, 學習的重點是 how to learn 而非 what to learn. 
    4. 機器學習是希望機器透過資料去找出邏輯 (函數關係), 找出接近完美函數的函數. 機器學習是利用資料與演算法, 從假設集函數 (set of function) 中找出一個與完美函數無限接近的最佳函數.
    5. 遷移學習 (transfer learning) 是將某領域 (可以完全不同) 訓練得到的模型拿來做預測 (經過一些 fine-tunning), 此作法可以節省大量訓練時間. 
    6. Deep learning -> Structure learning (最難的)  
    7. 吳恩達 : 目前 99% 的 AI 都是 Deep Learning.
    8. Alpha Go 作者 David Silver : AI=DL+RL
    9. DL 的基礎知識 : 
      (1). 神經元 (neuron) : 已脫離生物學, 偏向統計學與信號學
      (2). 權重 (weight) 與偏移 (bias) : 就是函數的所有變數
      (3). 損失函數 (loss function) : 達成最佳化的技術
      (4). 線性迴歸 (linear regression) : 直線的分布情況 (做分類)
      (5). 邏輯迴歸 (logistic regression) : 不是直線分布
      (6). 啟動函數 (activation function) : 代表神經元的特色
      (7). 神經網路 (neural network) 
      (8). 層 (layer), 輪 (epoch, 同樣跑幾回), 批次 (batch, 資料分拆)
      (9). 訓練 (train), 驗證 (validation), 測試 (test)
      (10). 梯度下降 (SGD) : 損失函數對權重的偏微分
      (11). 學習率 (learning rate) : 控制梯度下降的速度
      (12). 連鎖率 (chain rule) : 反向傳遞的計算基礎
      (13). 反向傳遞 (back propagation)
      (14). MSE (Mean Square Error)
      (15). 交叉熵 (cross entropy) : 分類用的損失函數
      (16). Softmax
      (17). Normalization, Regularization
    10. 關於 PyTorch :
      (1). 高速且彈性最大的 DL 框架
      (2). PyTorch 的張量提供與 Numpy 陣列完全相同之運算
      (3). PyTorch 的張量可在 GPU 執行, 但 Numpy 陣列不行
      (4). 支援自動微分功能
      (5). 支援所有張量流 (flow) 運算
      (6). 提供類神經模組 nn
      (7). 內建電腦視覺處理
      PyTorch 中的張量物件 torch.Tensor.
    11. 何謂 Tensor :
      0 維 Tensor=純量
      1 維 Tensor=向量
      2 維 Tensor=矩陣
      3 維以上 Tensor=張量
      張量在神經網路中流動時維度會改變 -> TensorFlow

沒有留言 :