前幾天介紹過好用的 LiteLLM,允許在多人或多系統共用 Azure Foundry / OpenAI / Claude 模型 API,透過建立多把 Virtual Key 區分權限、設定額度及統計用量。而 VSCode Github Copilot 可串接第三方雲端或地端 AI 模型,能把 LiteLLM 當成模型服務提供者。這篇就來說說如何在 VSCode 設定讓 Github Copilot 透過 LiteLLM 轉接雲端或地端模型。

LiteLLM 有篇專文介紹在 VS Code 的聊天中使用 LiteLLM Proxy 的做法,第一種是安裝延伸套件增加模型來源,第二種是將 LiteLLM 設成的 Proxy 攔截 Github Copilot 的上網流量。前者等同在現有的 Copilot 或 Foundry 模型外,多一組來自 LiteLLM 的模型清單,比較彈性直覺,是我選擇的做法。

依據官方教學,建議 git clone 專案自己編譯製作 VSCode 套件安裝檔 litellm-vscode-0.1.0.vsix,VSCode 套件庫有一些網友已經包好的安裝檔,我個人偏好從官方來源取得自己製作,專案體積比想像大,超過 2.2GB,編譯需要準備 Node.js 環境,麻煩些但用起來安心。

git clone https://github.com/BerriAI/litellm.git
cd litellm/vscode-extension
npm ci
npm run package
# 使用指令安裝
code --install-extension litellm-vscode-0.1.0.vsix

安裝完成後,按 Ctrl-Shift-P 找到 Chat: Manage Language Models:

在模型管理介面,按【Add Models】選 【LiteLLM】,輸入 LiteLLM 網址(如 http://litellm-ip:4000) 及 Virtual API Key:

設定完成後,模型選單便會出現 LiteLLM 群組,裡面有該 Virtual Key 可存取的模型清單:

然後就可點 LiteLLM 的模型出來聊天囉~


Comments

Be the first to post a comment

Post a comment