今天在參加自然語言處理內訓課程時從老師那邊得知這個 Transformer 圖解網站 (老師的教材也很多取材於此) :
Transformer 我還沒時間研究, 避免忘記先記錄下來唄.
我查了作者 Jay Alammer 的 LinkedIn 的簡歷, 發現他僅在堪薩斯大學時主修 CS, 碩士在柏克萊, 博士在史丹佛, 都是唸商學院, 為何對 NLP 這麼熟? 美國人實在太厲害了. 他的網站在 GitHub :
Transformer 自 2017 年問世至今已是 NLP 架構之霸 (例如 GPT-3 與 BERT 都使用了 Transformer 技術, 而 ELMo 則是用雙向語言模型 BiLM), 但中文書幾乎沒有, 英文書只有如下幾本 :
1. Natural Language Processing with Transformers (Oreilly, 2022)
Source : 天瓏
此書範例檔案可在 GitHub 下載 :
2. Transformers for Natural Language Processing 2/e (Packt, 2022)
Source : 天瓏
此書範例檔案可在 GitHub 下載 :
2022-11-16 補充 :
今天在 Oreilly 發現還有一本 Transformer (GPT-3) 好書 :
# GPT-3 : Build Innovative NLP Products Using Large Language Models (Oreilly, 2022)
Source : 天瓏
沒有留言 :
張貼留言