前天分享完在遠端 Linux 執行 Jupyter Notebook,許多讀者提到用 Remote SSH 能直接開啟在 Linux 上的專案並在 Linux 執行及測試,強力推薦我更方便的做法 - Remote SSH。 透過 Remote SSH,VSCode 可開啟 Linux 主機上的專案,...

前幾天研究電腦沒有獨立顯卡,只靠 CPU 也能跑大型語言模型嗎?學到要跑 LLM 大型語言模型除了 GPU,顯卡記憶體也是關鍵。以 FB 公司 Meta 釋出的 LLaMA 2 模型為例,70B、13B、7B 四種參數規模不同的大小模型,分別需要 320GB、50GB、30GB GPU 記憶體 參考...

最近想試試從 Windows 工作機遠端連上 Linux 伺服器跑 Python,ssh 連上去用終端機跑當然沒問題,但許多學習資源是 Jupyter Notebook,要怎麼從 Windows 在 Linux 跑 Jupyter Notebook 呢? 啟用 RDP 或 VNC 走遠端桌面是無腦解...

當初覺得自己不玩遊戲,用不到獨立顯卡何必浪費錢浪費電?工作機選了迷你主機,靠 CPU 內顯應付日常開發已綽綽有餘。殊不知這兩年 AI 議題興起,不管 AI 生圖還是ChatGPT ,全靠數以萬計的 GPU 提供算力。想跟上潮流自己在家裡玩玩 LLM 模型,沒有一張夠力的顯卡,寸步難行。 最近研究後有...

先前提到,當代維繫全世界資訊安全的命脈 - RSA、DSA、ECDSA 等非對稱演算法,會在量子電腦達到百萬量子位元等級後變得不堪一擊。雖然量子位元數目前才剛破千(IBM 於去年剛推出 1121 量子位元處理器),距離百萬等級還要好幾年,但全面換掉演算法預估得花上好幾年,故有必要提早開始評估規劃。 ...

專案上的小需求,公司內網依實體網路架構區分了多個網段,系統有網段清單,已知不同 CIDR (Classless Inter-Domain Routing) 格式(例如:192.168.1.0/24、10.0.0.0/8) 對映的代碼及說明。系統在接收到任一 IP 地址時,需識別出其隸屬哪一個網段。有...

PQC (Post-Quantum Cryptography),後量子密碼學,意指在量子電腦成熟後,現行的部分密碼學演算法將變得不堪一擊,需要更成換足以抵抗量子電腦破解的密碼學演算法。這些抗量子電腦攻擊的加解密及簽章演算法的相關研究便被稱為後量子密碼學,簡稱 PQC。(註:有個推動雲端安全的組織 C...

使用 ChatGPT API 時,掌握提問內容 Token 數很重要。 ChatGPT API 處理 Prompt 時不是以字元或字詞為單位,而是會把文字拆解為一個個 Token。Token 不一定從單詞 (Word) 開頭或結尾處分割,並可以包括尾隨空格甚至是子詞 (Sub-Words),Open...

PowerShell 是某些情境跑程式的首選,能省下掏粉自清的麻煩。 我手邊有 PowerShell 存取 SQL/Oracle 的範例,再補上 SQLite。 首先是決定用什麼程式庫,共有 System.Data.SQLite 及 Microsoft.Data.Sqlite 兩種選擇,前者由 SQ...

說一下我的需求,有個寬度有限的 HTML 表格欄位,內容文字長度不一,大部分都放得下,但偶爾文字過長會折行使列高加倍,造成排版雜亂且不易閱讀。增加欄位是最簡單的解法,但但因表格欄位眾多難再增大。換個思路,既然無法增加欄寬就讓字小一點,若還是擠不下也別勉強,多行就多行;但另外有個問題,原本文字置中,遇...