好站 : How to Run Alpaca-LoRA on Your Device

今天在生成式 AI 的內訓課程中聽飆機器人的講師提到史丹福的 Alpaca 模型, 老師建議用這個來微調模型, 課後我找到下面這個介紹如何跑 Alpaca 的教學 :

#  How to Run Alpaca-LoRA on Your Device

程序只有四步看起來不難, 但文中提到跑模型一定要有 GPU, 史丹福論文說他們是在一片搭載輝達 RTX 4090 晶片的繪圖卡上跑了數小時 :

"To run the Alpaca-LoRA model locally, you must have a GPU. It can be a low-spec GPU such as NVIDIA T4 or a consumer GPU like 4090. According to Eric J. Wang, the creator of the project, the model “runs within hours on a single RTX 4090.”"

我到露天查了一下, 夭壽, 一片 24GB 的 RTX 4090 差不多要 6~7 萬左右 :

# 技嘉RTX4090 XTREME WATERFORCE 24G顯示卡 全新 蘆洲可自取📌附購買證明📌自取價60900

沒玩遊戲的人真的不知道 GPU 顯卡這麼貴. 

我看還是花點錢租 Colab 來跑算了, 我找到一個現成的筆記本 : 

# Talk to Alpaca-LoRA

YT 也有教學影片 :