Category: ai

在 RAG 架構中,ChatGPT 等 LLM 之所以能回答專屬領域問題,其關鍵在於已事先將相關文件、影像、資訊消化後存進資料庫並建立索引,當使用者詢問時,先透過索引找到資料,再由 LLM 彙整查詢結果給出答案。 來源 文字甚至影像之所以能被搜尋,是因為它先經 Embedding 轉為量並存進向量...

ChatGPT 帶起大型語言模型(LLM)熱潮,對程式開發產業帶來無法忽視的衝搫。有程式需求但不會寫?跟 ChatGPT 許願就有。一行行敲程式碼太慢?Github Copilot 知道你想做什麼,自動幫你寫完。C# 老鳥遇到適合用其他語言開發的情境,不需要抱著 .NET 硬幹,有 Github C...

2024 新年第一天,拜年文就由 AI 打頭陣吧! 跟風附上 AI 生成圖,祝大家在新的一年神采飛揚,龍光煥發! 在訓練大型語言模型有多燒錢?一文學到:標榜最有台灣味的 Taiwan-LLM 語言模型,是以 Meta LLaMA 2 為基礎的全參數微調模型,大幅提升繁體中文能力並融入台灣文化。Ta...

前幾天研究電腦沒有獨立顯卡,只靠 CPU 也能跑大型語言模型嗎?學到要跑 LLM 大型語言模型除了 GPU,顯卡記憶體也是關鍵。以 FB 公司 Meta 釋出的 LLaMA 2 模型為例,70B、13B、7B 四種參數規模不同的大小模型,分別需要 320GB、50GB、30GB GPU 記憶體 參考...

當初覺得自己不玩遊戲,用不到獨立顯卡何必浪費錢浪費電?工作機選了迷你主機,靠 CPU 內顯應付日常開發已綽綽有餘。殊不知這兩年 AI 議題興起,不管 AI 生圖還是ChatGPT ,全靠數以萬計的 GPU 提供算力。想跟上潮流自己在家裡玩玩 LLM 模型,沒有一張夠力的顯卡,寸步難行。 最近研究後有...

使用 ChatGPT API 時,掌握提問內容 Token 數很重要。 ChatGPT API 處理 Prompt 時不是以字元或字詞為單位,而是會把文字拆解為一個個 Token。Token 不一定從單詞 (Word) 開頭或結尾處分割,並可以包括尾隨空格甚至是子詞 (Sub-Words),Open...

阿拉伯數字與中文數字雙向轉換 .NET 函式貼文有讀者提到:如果將來不用 C#,豈不要重寫? 好問題,其實寫函式時我就有想到這點,當時想法是,之所以擺脫 Visual Studio 程式庫從頭用 C# 重寫,便是著眼於相同演算法可移植到其他程式語言,更甭提我們現在有 ChatGPT 當靠山,這種沒用...

後知後覺發現 Bing Chat 加入了 DALL-E 3 支援(繪圖品質跟前一版 DALL-E 又提升了一個檔次),也跟 ChatGPT 一樣可以上傳照片請它識別,請它用 DALL-E 3 產生影像,最重要的是,這些都免費! Bing App 也同步加入這些功能,可以實現手機拍照上傳讓它識別,用語...

這波 AI 熱潮,大家最先想到的都是 ChatGPT。微軟身為 OpenAI 主要投資者,有近水樓台之便,也在加速將 AI 整合到自家產品,除了讓人期待但仍在封測的 Office 365 Copilot (正式名稱為 Microsoft 356 Copilot,但我想 Office Copilot ...

半年過去,大家已學會平常心看待 ChatGPT,了解它的長處跟弱點,不再過度神化,什麼都問再靠北它瞎扯。我認為這才是面對 ChatGPT 的正確心態,認知到生成式 AI 的產出從來就不保證正確,需自負查核複檢之責,方能善用新科技提升競爭力,而不是亂用搞到可能飯碗不保。 現在才開始學寫 ChatGPT...

常在網路上看到許多用 ChatGPT 整理資料玩到出神入化的分享,還沒機會實測過。這波 ChatGPT 浪潮,我受惠最多的是 Github Copilot (延伸閱讀:讓會讀心術的 Github Copilot 陪你寫程式),盡情享受起個頭給個方向,剩下讓 AI 補完的暢快,爽度破表。不常跟 Cha...

影片轉逐字稿,之前玩過 Azure Speech-To-Text,這回試試 OpenAI Whisper。 註:若你只想要魚,對撈魚或釣魚沒興趣,可考慮用現成工具 Whisper Desktop,能直接將 MP3 或麥克風輸入轉成文字稿。 OpenAI Whisper 有五種模型大小,大模型精準度較...

看了一些 AI 課程跟學術影片,常聽到幾個關鍵字:「八卡機」、A100... 我們都知道,機器學習仰賴大量 GPU 同步運算,像 ChatGPT 使用的 GPT-3.5 模型參數量便高達 1750 億個,每一回合運算次數都是千億等級,更別提所謂的訓練模型得嘗試成千上萬次尋找最佳參數組合,過程還得...

Bing Chat 除了跟 ChatGPT 一樣可以聊天,還有個撰寫功能,能幫你寫段落、電子郵件、部落格文章跟構想... 修蛋幾壘! 叫 ChatGPT 寫部落格文章是什麼意思,把彰顯個人風格、抒發心情、推展想法、傳承知識的神聖工作丟給機器做是什麼意思?這叫部落客怎麼活? ChatGPT 寫的東西...