好書 : Natural Language Processing with Transformer

Transformer 架構於 2017 年由 Google 提出後迅速成為解決各種自然語言處理任務的標準, 並於 2018 年提出 BERT 模型 (基於 encoder 的 Trnasformer). Oreilly 於 2022 年 2 月出版了 "Natural Language Processing with Transformer" 這本書市面上少見介紹 Transformer 的書籍,  5 月又改版為全彩的修訂版 (亞馬遜售價約 46 美金) : 

Source : Oreilly

 

去年底以來使用人數呈爆炸性成長的 ChatGPT 就是建構在 Transformer 的基礎上 (GPT-x 是基於 decoder 的 Transformer), 但這種大型語言模型參數太大, 只能用 API 與網頁介面方式提供給人們使用, 如果要學習了解 Transformer 的運作, 可透過 HuggingFace 開放原始碼的 transformer 函式庫, (此書正是介紹此函式庫之用法), 其原始碼寄存於 GitHub, 參考 :

# https://github.com/huggingface/transformers 

在 HuggingFace 網站上有許多上傳的預訓練 Transformer 模型, 參考 : 

# https://huggingface.co/transformersbook  

我在網路上還找到北科大教授以此書為課本編寫的教案 : 

# 台北科大戴敏育老師 AI 文字分析課的 Syllabus

HuggingFace 的 transformer 函式庫同時支援 TensorFlow 2+ 與 PyTorch 1.1.0+, 可用 pip install 指令安裝, 需要 Python 3.6+ 以上的執行環境 (在 Colab 執行更方便), 參考 : 

# https://huggingface.co/docs/transformers/installation 

# https://pypi.org/project/transformers/2.1.0/  

書中範例程式可從 GitHub 下載 :

# https://github.com/nlp-with-transformers/notebooks