關於自然語言處理之 BERT 技術

今天在找 NLP 資料時看到下面這篇文章 :

# 進擊的 BERT：NLP 界的巨人之力與遷移學習

第一次看到 BERT 以為是通訊原理中的 Bit Error Rate Test 的意思, 但搭上 NLP 顯然不是這意思, 可見 acronym 的岐義現象有多嚴重. BERT (Bidirectional Encoder Representations from Transformers) 恰巧就是解決 NLP 歧義的一個解決方案. 

BERT 是 Google 在 2018 年所提出的一種 NLP 預訓練技術, 屬於雙向深度非監督的詞向量表示法, 會根據上下文對相同的詞彙生成不同之詞向量 (傳統的 word2vec 則與上下文無關), 因此能有效處理歧義問題, 此項技術已於 2019 年底開始被應用在 Google 搜尋引擎中, 參考 : 

# 基於變換器的雙向編碼器表示技術 (BERT)

Apress 出版的新書 "Hands-on Question Answering Systems with BERT(2021)" 則將 BERT 用在 Q&A 系統中, 值得參考 : 

Source : 天瓏

Apress 出版的另外一本書 "Practical Natural Language Processing with Python (2020)" 的最後一章也介紹了 BERT 技術 : 

Source : 天瓏

不過 BERT 技術需要花費較大的運算力來訓練模型, 如果研究機構能將訓練好的模型開放將可節省許多訓練成本, 參考 :

# 圖解自然語言處理Transformer模型（一）

# 圖解自然語言處理Transformer模型（二）

# 多圖帶你讀懂 Transformers 的工作原理

# 一文，告訴你NLP中的Transformers究竟是如何運作的
# 【精度】自然語言處理基礎之attention
# 百聞不如一碼！手把手教你用Python搭一個Transformer!

# 圖解機器翻譯中的注意力機制，學會attention model本文就夠了

NLP 的發展速度飛快, 不加緊跟上不行.