2023年11月11日 星期六

高雄 Python 社群 11/17 線上分享會 (談 LLM 的測試)

今天在高雄 Python 社群看到 11/17 19:00~22:00 將舉辦線上分享會的訊息, 講師是卓騰語言科技的創辦人 Peter Wolf , 講題是 "Prompting 的邪魔歪道-談 LLM 的測試", 立馬報名搶得第三號 : 






我比較喜歡線上課程, 因為可以錄影複習. 


2023-11-17 補充 :

今天聽完 PeterWolf (王文傑) 分享覺得收穫甚多, 特別是將 prompt 詞序搞亂居然 ChatGPT 還能生成幾乎一樣的結果. 我實際測試發現真的是這樣, 我拿最近測試 Django 表單功能的 email 欄位驗證的正規式詢問 ChatGPT "如何用 Python 正規式驗證 email 格式" : 




然後將 prompt 詞序打亂再問一次 "式格如 nohtyp 驗正證式 liame 規格式用何" :




正規式是一樣的, 但給出的程式不同 (email 倒序), 它把問題理解為要驗證的字串詞序顛倒, 可能是受到 prompt 中 email 變成 liame 與 python 變成 nohtyp 的關係. 如演講人所說, 詞序固然對有影響, 但並非全部. LLM 其實並不真正理解語言, 它只是按機率來生成而已. 

講者 PeterWolf 為卓騰語言科技的創辦人王文傑, 語言學背景出身, 他們開發的 Loki 語意理解系統令我驚艷, 我原本以為傳統語言學在機率統計主導的深度學習與 LLM 出來之後已無多大用處, 但這想法似乎太膚淺了. 卓騰的目標是要讓機器真正理解語言的意義, 這與我的夢想非常契合. 

我找到 Peter 在數位時代所撰寫的一系列文章, 值得參考 :


簡報檔如下 : 


沒有留言 :