前幾天研究電腦沒有獨立顯卡，只靠 CPU 也能跑大型語言模型嗎？學到要跑 LLM 大型語言模型除了 GPU，顯卡記憶體也是關鍵。以 FB 公司 Meta 釋出的 LLaMA 2 模型為例，70B、13B、7B 四種參數規模不同的大小模型，分別需要 320GB、50GB、30GB GPU 記憶體 參考...

最近想試試從 Windows 工作機遠端連上 Linux 伺服器跑 Python，ssh 連上去用終端機跑當然沒問題，但許多學習資源是 Jupyter Notebook，要怎麼從 Windows 在 Linux 跑 Jupyter Notebook 呢？ 啟用 RDP 或 VNC 走遠端桌面是無腦解...

今天踩到的低級錯誤，用以下範例重現。 假設有物件 Foo，建構時傳入字串，透過 List<string> List 與 Dictionary<string, int> Stats 兩個唯讀屬性傳回包含字元清單及出現次數統計： public class Foo { p...

當初覺得自己不玩遊戲，用不到獨立顯卡何必浪費錢浪費電？工作機選了迷你主機，靠 CPU 內顯應付日常開發已綽綽有餘。殊不知這兩年 AI 議題興起，不管 AI 生圖還是ChatGPT ，全靠數以萬計的 GPU 提供算力。想跟上潮流自己在家裡玩玩 LLM 模型，沒有一張夠力的顯卡，寸步難行。 最近研究後有...

先前提到，當代維繫全世界資訊安全的命脈 - RSA、DSA、ECDSA 等非對稱演算法，會在量子電腦達到百萬量子位元等級後變得不堪一擊。雖然量子位元數目前才剛破千(IBM 於去年剛推出 1121 量子位元處理器)，距離百萬等級還要好幾年，但全面換掉演算法預估得花上好幾年，故有必要提早開始評估規劃。 ...

專案上的小需求，公司內網依實體網路架構區分了多個網段，系統有網段清單，已知不同 CIDR (Classless Inter-Domain Routing) 格式(例如：192.168.1.0/24、10.0.0.0/8) 對映的代碼及說明。系統在接收到任一 IP 地址時，需識別出其隸屬哪一個網段。有...

PQC (Post-Quantum Cryptography)，後量子密碼學，意指在量子電腦成熟後，現行的部分密碼學演算法將變得不堪一擊，需要更成換足以抵抗量子電腦破解的密碼學演算法。這些抗量子電腦攻擊的加解密及簽章演算法的相關研究便被稱為後量子密碼學，簡稱 PQC。(註：有個推動雲端安全的組織 C...

使用 ChatGPT API 時，掌握提問內容 Token 數很重要。 ChatGPT API 處理 Prompt 時不是以字元或字詞為單位，而是會把文字拆解為一個個 Token。Token 不一定從單詞 (Word) 開頭或結尾處分割，並可以包括尾隨空格甚至是子詞 (Sub-Words)，Open...

打我進職場以來，接觸過的企業組織，只要稍具規模(一百人以上)清一色都是用 Active Directory 建網域管理電腦及人員帳號。(UNIX/Linux 帳號則自成一格) AD 提供帳號、群組、主機管理，是標準的 IAM (Identity and Access Management，也有人縮寫...

PowerShell 是某些情境跑程式的首選，能省下掏粉自清的麻煩。 我手邊有 PowerShell 存取 SQL/Oracle 的範例，再補上 SQLite。 首先是決定用什麼程式庫，共有 System.Data.SQLite 及 Microsoft.Data.Sqlite 兩種選擇，前者由 SQ...

從昨天文章的 FB 貼文留言學到新東西。 身為 IE 出身的開發者，用 innerHTML 讀寫元素 HTML 原始碼，用 innerText 讀寫純文字版內文已經是本能反應。讀者 Chester Fung 提醒我一件事，最好用 textContent 取代 innerText，不然遇到隱藏元素文字...

說一下我的需求，有個寬度有限的 HTML 表格欄位，內容文字長度不一，大部分都放得下，但偶爾文字過長會折行使列高加倍，造成排版雜亂且不易閱讀。增加欄位是最簡單的解法，但但因表格欄位眾多難再增大。換個思路，既然無法增加欄寬就讓字小一點，若還是擠不下也別勉強，多行就多行；但另外有個問題，原本文字置中，遇...

原始碼產生(Source Generation)是 .NET 5 加入的新功能，能在編譯過程對 C# 原始碼進行增補，動態加入額外原始碼一起編譯進結果，在某些情境可展現神奇效果。(延伸閱讀：新手上路 C# 原始碼產生器 (Source Generators) by 保哥) JSON 序列化傳統會使用...

在參考某個開源專案 .csproj 看到類似 <PostBuildEvent>copy $(TargetDir)Blah.dll D:\</PostBuildEvent> 發現它會被觸發，但 $(TargetDir) 抓不到輸出路徑而是空值。 <Project Sdk=...

月初試玩微軟的 RAG 範例，還弄了個 ChatGPT 版行車駕駛知識庫，修改範例過程認識一堆新名詞，Azure AI Search Service、Semantic Kernal、Embedding... 但見樹不見林，對整體概念還有點模糊。 前幾天保哥辦了場線上講座，請來 MVP Ian 介紹 ...

接續前一篇用 .NET Native AOT 編譯程式庫給 Python 呼叫的實驗。 下一步我打算搬到 Linux 執行，過程有些小波折，編譯原生二進位檔案有優點，但領教過比較複雜繁瑣的編譯程序，倒也襯托出 .NET Runtime 的好處。 參考官方文件 Native AOT deploymen...