隨筆 - Nvidia Project DIGITS、Linux 與 Windows WSL2
| | 1 | |
照片為老黃在 CES 2025 展示 30 萬的新皮衣(咦?)及 3000 USD 的新一代掌上型超級電腦 - Project DIGITS.
Project DIGITS 只有巴掌大小,裡面塞進一顆 GB10 Superchip 核心,GB10 包含 Grace CPU (20 個 Arm 核) + Blackwell GPU,記憶體配備了 128GB,跟 Apple UMA 一樣,可讓 CPU/GPU 共用,預估能跑 200B 參數的模型(買兩台用 ConnectX 串接可達 405B)。儲存部分則為 4TB NVMe SSD,發表會沒提到電力功耗(只說一般家用電源插座可用),但推測不會超過 RTX 4090 + i9 的耗電量,當成一支會連開數小時的吹風機就好 XD。
雖然尚未發售缺乏實機評測背書,對只想用 CUDA 不想玩遊戲的個人開發者,Project DIGITS 十分有吸引力。一是價格不會比組一台 RTX 5090 頂配 PC 貴,而算力不差,重要的是不會被少得可憐的 32GB VRAM 卡死(延伸閱讀:不專業整理 - A100 / RTX 6000 / 4090 價格與 LLM 效能數據),可謂每分錢都花在刀口上,拿來玩 LLM 或 AI 模型比組一台 PC 划算方便。
這則新聞讓我更好奇的是 - 這台機器是跑什麼 OS?查了才知,原來 Nvidia 有自己的作業系統 - DGX OS。
乍看多了一個可能要學的作業系統,所幸 DGX OS 本質上可視為 Nvidia 的客製版 Ubuntu,DGX 6.0 基於 22.04、DGX 5.0 基於 20.04,使用上跟我平日在 Azure 開 VM 用的 Debian/Ubuntu 相去不遠,未來真有機會用到,預估不會太難上手。
而講到 Nvidia 與 Linux,就要順便再提這則新聞: 黃仁勳:輝達非常想把 AI 放在 PC 上,但 Windows 並不完美。
我這麼解讀:Nvidia 一直想在 Windows 充分發揮 GPU 運力,作為 AI 模型訓練及運轉的平台(這樣才能賣更多顯卡呀~),無奈 Windows 偏重 GUI 桌面應用的的系統架構不給力扶不起,所幸有 Windows WSL2,等於在 Windows 另外跑一個 Linux 環境,效能則貼近在硬體直接安裝 Linux[註],兼顧 Windows 軟體支援及基於 Linux 的開發需求。
註:參考 MVP 安德魯的實測,Hyper-V 的硬碟虛擬化會明顯拖累 WSL2 Disk IO,改成直接掛載實體硬碟應可避免。 延伸閱讀:用 WSL + VSCode 重新打造 Linux 開發環境 by 安德魯
結論:要搞 AI 相關開發,「熟悉 Linux」已成重要(甚至必要)技能。
Nvidia’s Project DIGITS, showcased at CES 2025, features a compact supercomputer powered by the GB10 Superchip. It includes Grace CPU and Blackwell GPU, 128GB memory, and 4TB NVMe SSD, running on Nvidia’s DGX OS. And Linux will become a required skill for AI related development.
Comments
# by 阿斬
印象中是因為走 SMB 存取,那段因此掉效能,而且還衍伸另一個問題,就是 inotify,例如邊改 code 邊重載運行的 Hot Reload 模式,VM 內會因為 SMB 沒實作 inotify 的相關功能,導致容器內無法偵測到而重載運行 之前幫前端同仁把 Vue 專案容器化開發時遇到的問題,npm run 之後沒法 Hot Reload