前幾天研究電腦沒有獨立顯卡，只靠 CPU 也能跑大型語言模型嗎？學到要跑 LLM 大型語言模型除了 GPU，顯卡記憶體也是關鍵。以 FB 公司 Meta 釋出的 LLaMA 2 模型為例，70B、13B、7B 四種參數規模不同的大小模型，分別需要 320GB、50GB、30GB GPU 記憶體 參考...

當初覺得自己不玩遊戲，用不到獨立顯卡何必浪費錢浪費電？工作機選了迷你主機，靠 CPU 內顯應付日常開發已綽綽有餘。殊不知這兩年 AI 議題興起，不管 AI 生圖還是ChatGPT ，全靠數以萬計的 GPU 提供算力。想跟上潮流自己在家裡玩玩 LLM 模型，沒有一張夠力的顯卡，寸步難行。 最近研究後有...

使用 ChatGPT API 時，掌握提問內容 Token 數很重要。 ChatGPT API 處理 Prompt 時不是以字元或字詞為單位，而是會把文字拆解為一個個 Token。Token 不一定從單詞 (Word) 開頭或結尾處分割，並可以包括尾隨空格甚至是子詞 (Sub-Words)，Open...

月初試玩微軟的 RAG 範例，還弄了個 ChatGPT 版行車駕駛知識庫，修改範例過程認識一堆新名詞，Azure AI Search Service、Semantic Kernal、Embedding... 但見樹不見林，對整體概念還有點模糊。 前幾天保哥辦了場線上講座，請來 MVP Ian 介紹 ...

阿拉伯數字與中文數字雙向轉換 .NET 函式貼文有讀者提到：如果將來不用 C#，豈不要重寫？ 好問題，其實寫函式時我就有想到這點，當時想法是，之所以擺脫 Visual Studio 程式庫從頭用 C# 重寫，便是著眼於相同演算法可移植到其他程式語言，更甭提我們現在有 ChatGPT 當靠山，這種沒用...

後知後覺發現 Bing Chat 加入了 DALL-E 3 支援(繪圖品質跟前一版 DALL-E 又提升了一個檔次)，也跟 ChatGPT 一樣可以上傳照片請它識別，請它用 DALL-E 3 產生影像，最重要的是，這些都免費! Bing App 也同步加入這些功能，可以實現手機拍照上傳讓它識別，用語...

上回提過 Azure 有提供 OpenAI Service，與 OpenAI API 相比，具有 SLA 保證、多區域備援、AD 整合、虛擬網路整合、更符合企業規範... 等特色。而對個人用戶，若手上有 Azure 免費額度(例如：Visual Studio Enterprise 訂閱 150 US...

這波 AI 熱潮，大家最先想到的都是 ChatGPT。微軟身為 OpenAI 主要投資者，有近水樓台之便，也在加速將 AI 整合到自家產品，除了讓人期待但仍在封測的 Office 365 Copilot (正式名稱為 Microsoft 356 Copilot，但我想 Office Copilot ...

半年過去，大家已學會平常心看待 ChatGPT，了解它的長處跟弱點，不再過度神化，什麼都問再靠北它瞎扯。我認為這才是面對 ChatGPT 的正確心態，認知到生成式 AI 的產出從來就不保證正確，需自負查核複檢之責，方能善用新科技提升競爭力，而不是亂用搞到可能飯碗不保。 現在才開始學寫 ChatGPT...

常在網路上看到許多用 ChatGPT 整理資料玩到出神入化的分享，還沒機會實測過。這波 ChatGPT 浪潮，我受惠最多的是 Github Copilot (延伸閱讀：讓會讀心術的 Github Copilot 陪你寫程式)，盡情享受起個頭給個方向，剩下讓 AI 補完的暢快，爽度破表。不常跟 Cha...

影片轉逐字稿，之前玩過 Azure Speech-To-Text，這回試試 OpenAI Whisper。 註：若你只想要魚，對撈魚或釣魚沒興趣，可考慮用現成工具 Whisper Desktop，能直接將 MP3 或麥克風輸入轉成文字稿。 OpenAI Whisper 有五種模型大小，大模型精準度較...

看了一些 AI 課程跟學術影片，常聽到幾個關鍵字：「八卡機」、A100... 我們都知道，機器學習仰賴大量 GPU 同步運算，像 ChatGPT 使用的 GPT-3.5 模型參數量便高達 1750 億個，每一回合運算次數都是千億等級，更別提所謂的訓練模型得嘗試成千上萬次尋找最佳參數組合，過程還得...

Bing Chat 除了跟 ChatGPT 一樣可以聊天，還有個撰寫功能，能幫你寫段落、電子郵件、部落格文章跟構想... 修蛋幾壘! 叫 ChatGPT 寫部落格文章是什麼意思，把彰顯個人風格、抒發心情、推展想法、傳承知識的神聖工作丟給機器做是什麼意思？這叫部落客怎麼活？ ChatGPT 寫的東西...

伴隨 AI 熱潮，不意外地出現語不驚人死不休的主張：「AI會取代白領工作」 日本企業家警告九成上班族將面臨失業。堀江貴文的論述邏輯是：AI 可以寫 Mail、做簡報、做 Excel，還能寫程式、偵錯，能取代相關職務扮演的角色，導致基層白領(行政、初階工程師)被視為非必要人力，因而被公司裁員，他預估將...

【提醒】文末的訊息及姓名輸入欄位是留言區，不是輸入文字測試用的，好像有些朋友誤會了，特此說明。 我文章的錯字之多，遠近馳名，多年以來已成個人特色... (Orz) 說來大家可能不信，其實每一篇文章送出前我都會校稿檢查至少一次，但可能是某種閱讀障礙，亦或個性浮躁沒耐性使然，還是腦部文字檢查模組真有缺陷...

【前情提要】幾天前，從一支影片與一篇文章出發，我分享了閱讀心得 - ChatGPT 離 AI 取代人類還有多遠？，「當時」我將 ChatGPT 定調為 - 大型語言模型(LLM)依靠消化海量資料加上人工巧妙調教，練就一身「不管問他什麼，總能說得頭頭是道煞有其事」的好本領，但 ChatGPT 不懂得判...