2024年3月21日 星期四

關於跑 AI 的電腦基本規格

最近有在想購置新的桌機來跑 AI (LLM 模型 RAG), 我找到下面這篇文章 :


這篇雖然講 AI 繪圖, 但也適用於跑 LLM, 摘要如下 :
  • 跑 AI 主要是看 GPU 效能, CPU 用 i3/i5/i7  皆可.
  • DRAM 至少 16GB, 建議 32GB 以上.
  • 顯卡要 Nvidia 的, 至少 RTX1060 4GB 以上, 最好是 RTX3060/4090 12GB.
以跑 Stable Diffusion 生圖而言, 最低要求是 8GB DRAM, Nvidia 4GB VRAM 顯卡. 

另外, 科技旅人臉書訪問台大資工陳蘊儂老師的影片提到, 其實用有 RTX3060 的電競筆電跑機器學習等 AI 效能就不錯了, 參考 :


目前一般筆電的 RTX3060/4060 的 VRAM 大概是 8GB, 例如 :

# ASUS 華碩 FX707VV-0042B13620H 御鐵灰 (i7-13620H/16G/RTX 4060/512G PCIe/W11/FHD/144Hz/17.3) 客製化電競筆電

但有獨顯的筆電都很重 (2 公斤以上), 筆電應該要輕便才對, 跑 AI 最好是用桌機, 同樣價錢桌機可以配到較強的性能. 我在蝦皮找到三民區的程傑電腦, 微星桌機 i5 32GB DRAM, 1T SSD, RTX3060 12GB 價格 29900 元. 

單買 RTX3060 約 9000 元 :



2024-03-22 補充 :

今天下班後到建國路茂訊做市調, 店長推薦華碩這款 :


不過 3050 才 8GB VRAM, 效能與 RTX3060 12GB 有差距, 參考 :


回來查 momo 發現下面這款微星的價格還不錯 (桃金日優惠) : 





再加購一片 16GB DRAM 總共就 32GB 了 :




下面這款微星 3060 Ti 款的不會降頻, 可惜只有 8G VRAM : 


4060 比較新且較省電, 但 VRAM 只有 8GB :


在論壇看到有人如此評論 : 

"要省電玩遊戲就4060，想要跑ai畫畫12g的3060會比較好，其它沒啥好說了,這種等級的卡說實在玩遊戲也不是很爽，至少買到4070最便宜的版本會撐比較久，換2k高刷屏時還可以用。"

還是 VRAM 多比較好. 

2024-03-26 補充 :


2024-03-27 補充 :

下面這篇談到 Colab 生圖的限制 :


下面這篇則認為 3060 12G CP 值很高 :


下面這篇也是建議 3060 12G :


下面這篇認為 3060 Ti 8G 還不如用 3060 12G :



2024-04-04 補充 :

Nvidia 有 30 系列顯卡的規格比較 :


於

沒有留言:

張貼留言