| | | 2 | | 1,464 |
截至目前為止,我整合 ChatGPT API 的應用限於靠預訓練知識校閱文章、彙整文件或翻譯,頂多整合向量資料庫試玩 RAG。有一種重要應用還沒試過 - 提供自訂函式或功能給 ChatGPT 呼叫! 即便最新版 ChatGPT 已具備上網能力,但有很多時侯我們想整合的資料來企業內部或屬於個人隱私,總...
| | | 0 | | 698 |
距離上次用 Azure OpenAI SDK 整合 ChatGPT 功能已是一年多前的事。(ChatGPT 聊天程式練習 - 使用 .NET + Azure OpenAI API) 最近的 Side Project 又有整合 ChatGPT 需求,修改過程發現上次用的 .NET 版 Azure.AI...
| | | 8 | | 5,311 |
學會用 Ollama 有一陣子了,受限於迷你工作機只有內顯,至今都是用 CPU 跑模型,據說只要有 GPU,即便是人門款顯卡都能把 CPU 壓在地上摩擦,了解 GPU 並行運算架構就知道這是想當然爾的結果,但沒親手體驗過,總覺得少了點什麼。 趁著週末向小木頭借了他的 RTX 3050 獨顯 11 代...
| | | 0 | | 2,040 |
之前試玩過台灣在地版 13B LLaMA 2 地端模型,我這台沒有獨顯立顯卡的迷你工作機,12 代 i5 CPU 跑起來大約一秒一個字,效能勉強可接受。 Google 在 7 月底釋出了開源模型 Gemma 2 的最迷你版本,參數量只有 2B,號稱在 LMSYS 聊天機器人競技場表現亮眼,打敗 GP...
| | | 0 | | 1,387 |
為防止服務被濫用、伺服器過載及確保公平性,OpenAI 官方及 Azure 的 OpenAI API 都設有速率限制(Rate Limit),限定每分鐘請求數(RPM)及 Token 數量(TPM)上限。這是用 ChatGPT API 跑批次作業常要面對的問題,上回 PowerShell 整合 Ch...
| | | 3 | | 2,071 |
處理資料時請 ChatGPT 幫忙已成日常,就算是寫 PowerShell 時也不例外。因此,我想要有個函式,希望能做到傳 Prompt 批次呼叫 ChatGPT API 執行翻譯、摘要等的任務,隨時隨地想要 AI 就有 AI。 舉個例子,假設我有個 JSON 檔 demo.json: [ ...
| | | 3 | | 3,086 |
要深入應用 LLM 免不了會涉及自然語言處理(Natural Language Processing)觀念與知識,像是 RAG 前置處理就有可能用到分詞、向量索引比對會用到 TF-IDF、BM25 等演算法。寫程式做出東西很有趣,學理論相對枯燥。 在圖書館找到一本給高中生看的 NLP 介紹,淺顯易懂...
| | | 1 | | 4,075 |
繼上週 OpenAI 發佈 GPT-4o、Google I/O 開發者大會,這幾天輪到微軟 Build 2024 開發者大會 (呃... 開發者會不會太忙了點?),一如預期,焦點全在 AI,而且火力全開。 我先看了微軟 CEO Satya 的 Keynote,不出意外,滿滿沒學過、不熟的新名詞或關...
| | | 5 | | 7,813 |
最近,愈來愈習慣用 Github Copilot 寫程式,依賴程度高到自己心驚。 現在寫程式遇到 跑迴圈拆解 CSV 對映物件屬性、fetch 某 API 取回結果 之類的情節,別說少打字,我甚至來不及動腦細想邏輯,Copilot 已經把程式生好,眼睛看過檢查一遍(通常沒問題),這段程式就算寫完了。...
| | | 22 | | 30,629 |
之前試過用 Chatty GPT 打造個人專屬 ChatGPT 聊天室,但受限只能在本機桌面跑,無法多人使用。後來試了自架 Chatbot UI 伺服器因綁了 Supabase 太笨重,想等作者改 SQLite 版再用。 現在看來不用等 Chatbot UI 了! 有個包山包海的殺手級 LLM 整合...
| | | 1 | | 3,264 |
前幾天介紹過用 Ollama + Open WebUI 跑本地 LLM 的懶人做法,只靠 CPU 速度不甚理想。 沒 GPU 學人玩地端 LLM,慢到靠北也是剛好而已。。 話雖如此,基於好奇我很想看看若 CPU 核數加倍再加倍,效能會不會有明顯提升,便在 Azure 開了台 48 vCPU VM 短...
| | | 5 | | 3,746 |
昨天看了一輪常見的向量資料庫,其中 Rust 開發強調效能且支援 Docker 執行的 Qdrant 深得我心。這篇就來練習用 C# 寫入向量資料到 Qdrant 並進行向量相似性搜索。 開始前需要對 Embedding、向量相似性等有基本概念,還不清楚的同學推薦前幾天的向量資料庫概念科普影片,而這...
| | | 0 | | 5,368 |
前幾天分享過向量資料庫概念科普,這篇也算豬走路系列,快速看一下 RAG 常用的向量資料庫選項,增廣見聞為主,點到為止。 而我出發的角度比較另類,預估未來主要會用 Semantic Kernel 框架開發 RAG 應用程式,所以會先從 SK 提到的向量資料庫看起。 早期 SK 提供一套名為 Seman...
| | | 9 | | 17,767 |
不久前發現不需要 GPU 也能在本機跑 LLM 模型的 llama.cpp,接著如雨後春筍冒出一堆好用地端 LLM 整合平台或工具,例如:可一個指令下載安裝跑 LLM 的 Ollama (延伸閱讀:介紹好用工具:Ollama 快速在本地啟動並執行大型語言模型 by 保哥),還有為 Ollama 加上...
| | | 0 | | 5,656 |
論大型語言模型(LLM),目前仍由 ChatGPT 稱霸,要開發相關應用,LLM 模型訓練及執行成本很高(參考:訓練大型語言模型有多燒錢?),透過 OpenAI 或 Azure 的 API 整合應是成本效益比較高的做法, 不過,有些應用情境不允許資料上傳到雲端,或必須重訓練或微調以符合需求,就必須考...
| | | 1 | | 7,087 |
在 RAG 架構中,ChatGPT 等 LLM 之所以能回答專屬領域問題,其關鍵在於已事先將相關文件、影像、資訊消化後存進資料庫並建立索引,當使用者詢問時,先透過索引找到資料,再由 LLM 彙整查詢結果給出答案。 來源 文字甚至影像之所以能被搜尋,是因為它先經 Embedding 轉為量並存進向量...