今天繼續聽 PyTorch 線上課程第二課, 本系列之前的筆記參考 :
今日筆記如下 :
- 學 AI 必上的課程 :
(1). 史丹佛大學 CS231n 課程
(2). 台大林軒田教授機器學習基石&技法
(3). 台大李宏毅教授機器學習課程 - 一般程式利用邏輯條件來判斷也是人工智慧之一 (例如判斷質數), 稱為 rule-based AI , 但這些規則以外的問題完全無法解決.
- 學習就是獲得解答的能力, 學習的重點是 how to learn 而非 what to learn.
- 機器學習是希望機器透過資料去找出邏輯 (函數關係), 找出接近完美函數的函數. 機器學習是利用資料與演算法, 從假設集函數 (set of function) 中找出一個與完美函數無限接近的最佳函數.
- 遷移學習 (transfer learning) 是將某領域 (可以完全不同) 訓練得到的模型拿來做預測 (經過一些 fine-tunning), 此作法可以節省大量訓練時間.
- Deep learning -> Structure learning (最難的)
- 吳恩達 : 目前 99% 的 AI 都是 Deep Learning.
- Alpha Go 作者 David Silver : AI=DL+RL
- DL 的基礎知識 :
(1). 神經元 (neuron) : 已脫離生物學, 偏向統計學與信號學
(2). 權重 (weight) 與偏移 (bias) : 就是函數的所有變數
(3). 損失函數 (loss function) : 達成最佳化的技術
(4). 線性迴歸 (linear regression) : 直線的分布情況 (做分類)
(5). 邏輯迴歸 (logistic regression) : 不是直線分布
(6). 啟動函數 (activation function) : 代表神經元的特色
(7). 神經網路 (neural network)
(8). 層 (layer), 輪 (epoch, 同樣跑幾回), 批次 (batch, 資料分拆)
(9). 訓練 (train), 驗證 (validation), 測試 (test)
(10). 梯度下降 (SGD) : 損失函數對權重的偏微分
(11). 學習率 (learning rate) : 控制梯度下降的速度
(12). 連鎖率 (chain rule) : 反向傳遞的計算基礎
(13). 反向傳遞 (back propagation)
(14). MSE (Mean Square Error)
(15). 交叉熵 (cross entropy) : 分類用的損失函數
(16). Softmax
(17). Normalization, Regularization - 關於 PyTorch :
(1). 高速且彈性最大的 DL 框架
(2). PyTorch 的張量提供與 Numpy 陣列完全相同之運算
(3). PyTorch 的張量可在 GPU 執行, 但 Numpy 陣列不行
(4). 支援自動微分功能
(5). 支援所有張量流 (flow) 運算
(6). 提供類神經模組 nn
(7). 內建電腦視覺處理
PyTorch 中的張量物件 torch.Tensor. - 何謂 Tensor :
0 維 Tensor=純量
1 維 Tensor=向量
2 維 Tensor=矩陣
3 維以上 Tensor=張量
張量在神經網路中流動時維度會改變 -> TensorFlow
沒有留言 :
張貼留言