包山包海的殺手級 LLM 整合平台 - Anything LLM

之前試過用 Chatty GPT 打造個人專屬 ChatGPT 聊天室，但受限只能在本機桌面跑，無法多人使用。後來試了自架 Chatbot UI 伺服器因綁了 Supabase 太笨重，想等作者改 SQLite 版再用。

現在看來不用等 Chatbot UI 了! 有個包山包海的殺手級 LLM 整合平台開源專案 - Anything LLM，一口氣通吃所有 LLM API (ChatGPT、Azure OpenAI、Gemini、Hugging Face、Anthropic、Groq、Ollama... )、整進各大向量資料庫 (Chroma、Qdrant、Pinecone、Weaviate、Milvus...)，甚至內建上傳 PDF 解析、爬網頁、掃 YouTube 影片... 等文字擷取及向量化功能，直接包辦 RAG 的活兒。把這些全部整進一個聊天介面，還支援多使用者管理，能設定誰可以用哪些 LLM 功能... 一口氣把大部分想得到的 LLM 整合功能都包進去了，大家還玩什麼？
(讀者提醒：目前有一大塊還沒被包進去 - 整合外部資料或控制外部裝罝的 Plugin 或 Agent。但該不會 Anything LLM 己在研發中？)

Anything LLM 採 MIT 授權，下幾行指令跑個 Docker 容器，幾分鐘便能架好一台多人共用的 LLM 聊天網站，背後可以接 ChatGPT 也可以接地端 LLM，還能上傳 PDF 抓網頁玩 RAG，完全免費。基本上要做簡單 LLM 整合應用，不必求人，不用寫程式，稍具 Docker 與 LLM 知識即可輕鬆搞定，傻瓜到極點。Mintplex Labs這間公司真是佛心來著，但說來也算心狠手辣，Anything LLM 一口氣讓 LLM 基本技能徹底貶值，這下子你得研究到更深才能有點價值，內捲又內捲，捲到最高點。

以下是我的安裝測試體驗筆記。(參考來源：國網中心莊朝鈞研究員線上課程 - 大型語言模型-中階/基於RAG方案的專屬私有知識庫服務網站建置)

我選擇用以下 Docker Compose 檔案執行 Anything LLM。

docker-compose.yml

version: '3.8'
services:
  anythingllm:
    image: mintplexlabs/anythingllm
    container_name: anythingllm
    ports:
      - "3001:3001"
    volumes:
      - ./storage:/app/server/storage
      - ./env.txt:/app/server/.env
    environment:
      - STORAGE_DIR=/app/server/storage
    cap_add:
      - SYS_ADMIN
    extra_hosts:
      - "host.docker.internal:host-gateway"
    restart: unless-stopped

執行前先 touch ./env.txt 及 .\mkdir storage 建好檔案及資料夾，接著用 sudo docker-compose up -d 啟動容器，開瀏覽器連上 http://localhost:3001 即可開始使用。

首次使用要先做初始設定：

先選預設 LLM 模型，清單把當今的主流 LLM 一網打盡，填一下 URL、API Key 就能用：

選擇 Embedding 服務，AnythingLLM 有內建自己的版本：(延伸閱讀：動手玩 AI - 使用 OpenAI Embedding 模型比對文字相似性)

接著選向量資料庫，預設可用免安裝的 LanceDB：(延伸閱讀：YT 筆記：向量資料庫概念科普)

再來選擇單人使用還是多人共用，多人使用時要建立管理者帳號：

接著系統提醒你 LLM、Embedding、向量資料庫的資料流向，告知哪些會上雲哪些在本地：

再來建立第一個 Workspace：

進入 Workspace，就是個標準 LLM 聊天介面，大家應能無痛上手：

上圖 [1] 按下去是系統設定，其中 Users 功能可新增及管理使用者：

Workspace 聊天畫面的 [2] 為 Workspace 設定，Members 頁籤可指定哪些使用者可使用：

Workspace 聊天畫面的 [3] 按下去會帶出文件管理功能，你可以上傳 PDF、提供網址，甚至 YouTube 影片位址，讓 Anything LLM 擷取文字內容轉成向量供後續查詢：

按 Move to Workspace 轉入後，按 Save and Embbed 向量化：

處理好記得按圖釘啟用文件：

用上回小試 RAG - 整合 ChatGPT 與自有資料 (駕駛人手冊實測) 的 PDF 測試，成功查到答案，並有附上出處 (Citation)：

原始來源應來自 PDF 這段，回答內容有被大幅改寫：

引用來源 (Citation) 顯示的內容也不算精準：

但可算是成功由自訂文件查到內容，達成 RAG 的基本要求。

【結論】

靠著 Anything LLM，我們可以無腦架出好一個整合 ChatGPT 或地端 LLM 模型的聊天伺服器，不但內建上傳 PDF、爬網功能，還支援多使用者管理，可滿足基本 RAG 應用需求。對於想玩 LLM 整合的一般使用者來說，門檻一下變低了；而對於想投身 LLM 整合應用的開發者來說，門檻一下變高了。功能與效果不如 Anything LLM，你還玩屁？

好捲啊~~~ 我還是躺平好了。