昨天看了一輪常見的向量資料庫，其中 Rust 開發強調效能且支援 Docker 執行的 Qdrant 深得我心。這篇就來練習用 C# 寫入向量資料到 Qdrant 並進行向量相似性搜索。 開始前需要對 Embedding、向量相似性等有基本概念，還不清楚的同學推薦前幾天的向量資料庫概念科普影片，而這...

前幾天分享過向量資料庫概念科普，這篇也算豬走路系列，快速看一下 RAG 常用的向量資料庫選項，增廣見聞為主，點到為止。 而我出發的角度比較另類，預估未來主要會用 Semantic Kernel 框架開發 RAG 應用程式，所以會先從 SK 提到的向量資料庫看起。 早期 SK 提供一套名為 Seman...

不久前發現不需要 GPU 也能在本機跑 LLM 模型的 llama.cpp，接著如雨後春筍冒出一堆好用地端 LLM 整合平台或工具，例如：可一個指令下載安裝跑 LLM 的 Ollama (延伸閱讀：介紹好用工具：Ollama 快速在本地啟動並執行大型語言模型 by 保哥)，還有為 Ollama 加上...

論大型語言模型(LLM)，目前仍由 ChatGPT 稱霸，要開發相關應用，LLM 模型訓練及執行成本很高(參考：訓練大型語言模型有多燒錢？)，透過 OpenAI 或 Azure 的 API 整合應是成本效益比較高的做法， 不過，有些應用情境不允許資料上傳到雲端，或必須重訓練或微調以符合需求，就必須考...

在 RAG 架構中，ChatGPT 等 LLM 之所以能回答專屬領域問題，其關鍵在於已事先將相關文件、影像、資訊消化後存進資料庫並建立索引，當使用者詢問時，先透過索引找到資料，再由 LLM 彙整查詢結果給出答案。 來源 文字甚至影像之所以能被搜尋，是因為它先經 Embedding 轉為量並存進向量...

ChatGPT 帶起大型語言模型(LLM)熱潮，對程式開發產業帶來無法忽視的衝搫。有程式需求但不會寫？跟 ChatGPT 許願就有。一行行敲程式碼太慢？Github Copilot 知道你想做什麼，自動幫你寫完。C# 老鳥遇到適合用其他語言開發的情境，不需要抱著 .NET 硬幹，有 Github C...

2024 新年第一天，拜年文就由 AI 打頭陣吧! 跟風附上 AI 生成圖，祝大家在新的一年神采飛揚，龍光煥發! 在訓練大型語言模型有多燒錢？一文學到：標榜最有台灣味的 Taiwan-LLM 語言模型，是以 Meta LLaMA 2 為基礎的全參數微調模型，大幅提升繁體中文能力並融入台灣文化。Ta...

前幾天研究電腦沒有獨立顯卡，只靠 CPU 也能跑大型語言模型嗎？學到要跑 LLM 大型語言模型除了 GPU，顯卡記憶體也是關鍵。以 FB 公司 Meta 釋出的 LLaMA 2 模型為例，70B、13B、7B 四種參數規模不同的大小模型，分別需要 320GB、50GB、30GB GPU 記憶體 參考...

當初覺得自己不玩遊戲，用不到獨立顯卡何必浪費錢浪費電？工作機選了迷你主機，靠 CPU 內顯應付日常開發已綽綽有餘。殊不知這兩年 AI 議題興起，不管 AI 生圖還是ChatGPT ，全靠數以萬計的 GPU 提供算力。想跟上潮流自己在家裡玩玩 LLM 模型，沒有一張夠力的顯卡，寸步難行。 最近研究後有...

使用 ChatGPT API 時，掌握提問內容 Token 數很重要。 ChatGPT API 處理 Prompt 時不是以字元或字詞為單位，而是會把文字拆解為一個個 Token。Token 不一定從單詞 (Word) 開頭或結尾處分割，並可以包括尾隨空格甚至是子詞 (Sub-Words)，Open...

月初試玩微軟的 RAG 範例，還弄了個 ChatGPT 版行車駕駛知識庫，修改範例過程認識一堆新名詞，Azure AI Search Service、Semantic Kernal、Embedding... 但見樹不見林，對整體概念還有點模糊。 前幾天保哥辦了場線上講座，請來 MVP Ian 介紹 ...

阿拉伯數字與中文數字雙向轉換 .NET 函式貼文有讀者提到：如果將來不用 C#，豈不要重寫？ 好問題，其實寫函式時我就有想到這點，當時想法是，之所以擺脫 Visual Studio 程式庫從頭用 C# 重寫，便是著眼於相同演算法可移植到其他程式語言，更甭提我們現在有 ChatGPT 當靠山，這種沒用...

後知後覺發現 Bing Chat 加入了 DALL-E 3 支援(繪圖品質跟前一版 DALL-E 又提升了一個檔次)，也跟 ChatGPT 一樣可以上傳照片請它識別，請它用 DALL-E 3 產生影像，最重要的是，這些都免費! Bing App 也同步加入這些功能，可以實現手機拍照上傳讓它識別，用語...

上回提過 Azure 有提供 OpenAI Service，與 OpenAI API 相比，具有 SLA 保證、多區域備援、AD 整合、虛擬網路整合、更符合企業規範... 等特色。而對個人用戶，若手上有 Azure 免費額度(例如：Visual Studio Enterprise 訂閱 150 US...

這波 AI 熱潮，大家最先想到的都是 ChatGPT。微軟身為 OpenAI 主要投資者，有近水樓台之便，也在加速將 AI 整合到自家產品，除了讓人期待但仍在封測的 Office 365 Copilot (正式名稱為 Microsoft 356 Copilot，但我想 Office Copilot ...

半年過去，大家已學會平常心看待 ChatGPT，了解它的長處跟弱點，不再過度神化，什麼都問再靠北它瞎扯。我認為這才是面對 ChatGPT 的正確心態，認知到生成式 AI 的產出從來就不保證正確，需自負查核複檢之責，方能善用新科技提升競爭力，而不是亂用搞到可能飯碗不保。 現在才開始學寫 ChatGPT...