Category: ai

10 12,927
之前試過用 Chatty GPT 打造個人專屬 ChatGPT 聊天室，但受限只能在本機桌面跑，無法多人使用。後來試了自架 Chatbot UI 伺服器因綁了 Supabase 太笨重，想等作者改 SQLite 版再用。 現在看來不用等 Chatbot UI 了! 有個包山包海的殺手級 LLM 整合...

0 1,504
前幾天介紹過用 Ollama + Open WebUI 跑本地 LLM 的懶人做法，只靠 CPU 速度不甚理想。 沒 GPU 學人玩地端 LLM，慢到靠北也是剛好而已。。 話雖如此，基於好奇我很想看看若 CPU 核數加倍再加倍，效能會不會有明顯提升，便在 Azure 開了台 48 vCPU VM 短...

4 1,407
昨天看了一輪常見的向量資料庫，其中 Rust 開發強調效能且支援 Docker 執行的 Qdrant 深得我心。這篇就來練習用 C# 寫入向量資料到 Qdrant 並進行向量相似性搜索。 開始前需要對 Embedding、向量相似性等有基本概念，還不清楚的同學推薦前幾天的向量資料庫概念科普影片，而這...

0 1,494
前幾天分享過向量資料庫概念科普，這篇也算豬走路系列，快速看一下 RAG 常用的向量資料庫選項，增廣見聞為主，點到為止。 而我出發的角度比較另類，預估未來主要會用 Semantic Kernel 框架開發 RAG 應用程式，所以會先從 SK 提到的向量資料庫看起。 早期 SK 提供一套名為 Seman...

6 4,706
不久前發現不需要 GPU 也能在本機跑 LLM 模型的 llama.cpp，接著如雨後春筍冒出一堆好用地端 LLM 整合平台或工具，例如：可一個指令下載安裝跑 LLM 的 Ollama (延伸閱讀：介紹好用工具：Ollama 快速在本地啟動並執行大型語言模型 by 保哥)，還有為 Ollama 加上...

0 2,750
論大型語言模型(LLM)，目前仍由 ChatGPT 稱霸，要開發相關應用，LLM 模型訓練及執行成本很高(參考：訓練大型語言模型有多燒錢？)，透過 OpenAI 或 Azure 的 API 整合應是成本效益比較高的做法， 不過，有些應用情境不允許資料上傳到雲端，或必須重訓練或微調以符合需求，就必須考...

0 3,661
在 RAG 架構中，ChatGPT 等 LLM 之所以能回答專屬領域問題，其關鍵在於已事先將相關文件、影像、資訊消化後存進資料庫並建立索引，當使用者詢問時，先透過索引找到資料，再由 LLM 彙整查詢結果給出答案。 來源 文字甚至影像之所以能被搜尋，是因為它先經 Embedding 轉為量並存進向量...

2 4,552
ChatGPT 帶起大型語言模型(LLM)熱潮，對程式開發產業帶來無法忽視的衝搫。有程式需求但不會寫？跟 ChatGPT 許願就有。一行行敲程式碼太慢？Github Copilot 知道你想做什麼，自動幫你寫完。C# 老鳥遇到適合用其他語言開發的情境，不需要抱著 .NET 硬幹，有 Github C...

6 2,648
2024 新年第一天，拜年文就由 AI 打頭陣吧! 跟風附上 AI 生成圖，祝大家在新的一年神采飛揚，龍光煥發! 在訓練大型語言模型有多燒錢？一文學到：標榜最有台灣味的 Taiwan-LLM 語言模型，是以 Meta LLaMA 2 為基礎的全參數微調模型，大幅提升繁體中文能力並融入台灣文化。Ta...

1 3,388
前幾天研究電腦沒有獨立顯卡，只靠 CPU 也能跑大型語言模型嗎？學到要跑 LLM 大型語言模型除了 GPU，顯卡記憶體也是關鍵。以 FB 公司 Meta 釋出的 LLaMA 2 模型為例，70B、13B、7B 四種參數規模不同的大小模型，分別需要 320GB、50GB、30GB GPU 記憶體 參考...

11 5,529
當初覺得自己不玩遊戲，用不到獨立顯卡何必浪費錢浪費電？工作機選了迷你主機，靠 CPU 內顯應付日常開發已綽綽有餘。殊不知這兩年 AI 議題興起，不管 AI 生圖還是ChatGPT ，全靠數以萬計的 GPU 提供算力。想跟上潮流自己在家裡玩玩 LLM 模型，沒有一張夠力的顯卡，寸步難行。 最近研究後有...

0 2,081
使用 ChatGPT API 時，掌握提問內容 Token 數很重要。 ChatGPT API 處理 Prompt 時不是以字元或字詞為單位，而是會把文字拆解為一個個 Token。Token 不一定從單詞 (Word) 開頭或結尾處分割，並可以包括尾隨空格甚至是子詞 (Sub-Words)，Open...

2 2,140
阿拉伯數字與中文數字雙向轉換 .NET 函式貼文有讀者提到：如果將來不用 C#，豈不要重寫？ 好問題，其實寫函式時我就有想到這點，當時想法是，之所以擺脫 Visual Studio 程式庫從頭用 C# 重寫，便是著眼於相同演算法可移植到其他程式語言，更甭提我們現在有 ChatGPT 當靠山，這種沒用...

1 2,645
後知後覺發現 Bing Chat 加入了 DALL-E 3 支援(繪圖品質跟前一版 DALL-E 又提升了一個檔次)，也跟 ChatGPT 一樣可以上傳照片請它識別，請它用 DALL-E 3 產生影像，最重要的是，這些都免費! Bing App 也同步加入這些功能，可以實現手機拍照上傳讓它識別，用語...