2022年11月9日 星期三

Jay Alammer 的 Transformer (變形器) 圖解

今天在參加自然語言處理內訓課程時從老師那邊得知這個 Transformer 圖解網站 (老師的教材也很多取材於此) : 


Transformer 我還沒時間研究, 避免忘記先記錄下來唄. 

我查了作者 Jay Alammer 的 LinkedIn 的簡歷, 發現他僅在堪薩斯大學時主修 CS, 碩士在柏克萊, 博士在史丹佛, 都是唸商學院, 為何對 NLP 這麼熟? 美國人實在太厲害了. 他的網站在 GitHub : 


Transformer 自 2017 年問世至今已是 NLP 架構之霸 (例如 GPT-3 與 BERT 都使用了 Transformer 技術, 而 ELMo 則是用雙向語言模型 BiLM), 但中文書幾乎沒有, 英文書只有如下幾本 :



Source : 天瓏


此書範例檔案可在 GitHub 下載 :

https://github.com/nlp-with-transformers/notebooks




Source : 天瓏


此書範例檔案可在 GitHub 下載 :



3. Mastering Transformers (Packt, 2021)


Source : 天瓏


此書範例檔案可在 GitHub 下載 :



2022-11-16 補充 : 

今天在 Oreilly 發現還有一本 Transformer (GPT-3) 好書 :



Source : 天瓏


此書範例檔案可在 Oreilly 網站下載 :


沒有留言 :