Jay Alammer 的 Transformer (變形器) 圖解

今天在參加自然語言處理內訓課程時從老師那邊得知這個 Transformer 圖解網站 (老師的教材也很多取材於此) : 

# https://jalammar.github.io/illustrated-transformer/

Transformer 我還沒時間研究, 避免忘記先記錄下來唄. 

我查了作者 Jay Alammer 的 LinkedIn 的簡歷, 發現他僅在堪薩斯大學時主修 CS, 碩士在柏克萊, 博士在史丹佛, 都是唸商學院, 為何對 NLP 這麼熟? 美國人實在太厲害了. 他的網站在 GitHub : 

# https://jalammar.github.io/

Transformer 自 2017 年問世至今已是 NLP 架構之霸 (例如 GPT-3 與 BERT 都使用了 Transformer 技術, 而 ELMo 則是用雙向語言模型 BiLM), 但中文書幾乎沒有, 英文書只有如下幾本 :

1. Natural Language Processing with Transformers (Oreilly, 2022) 

Source : 天瓏

此書範例檔案可在 GitHub 下載 :

# https://github.com/nlp-with-transformers/notebooks

2. Transformers for Natural Language Processing 2/e (Packt, 2022)

Source : 天瓏

此書範例檔案可在 GitHub 下載 :

# https://github.com/Denis2054/Transformers-for-NLP-2nd-Edition

3. Mastering Transformers (Packt, 2021)

Source : 天瓏

此書範例檔案可在 GitHub 下載 :

# https://github.com/PacktPublishing/Mastering-Transformers

2022-11-16 補充 : 

今天在 Oreilly 發現還有一本 Transformer (GPT-3) 好書 :

# GPT-3 : Build Innovative NLP Products Using Large Language Models (Oreilly, 2022)

Source : 天瓏

此書範例檔案可在 Oreilly 網站下載 :

# https://oreil.ly/gpt3-repo