繼上週 OpenAI 發佈 GPT-4o、Google I/O 開發者大會,這幾天輪到微軟 Build 2024 開發者大會 (呃... 開發者會不會太忙了點?),一如預期,焦點全在 AI,而且火力全開。

我先看了微軟 CEO Satya 的 Keynote,不出意外,滿滿沒學過、不熟的新名詞或關鍵字連發,看影片全程差不多是這種感覺:

這篇且讓我緩一緩,先整理我個人印象深刻的一些關鍵字:

  1. Microsoft Copilot - 就是原本的 Bing Chat,現在 Microsoft Copilot 成為一個共用服務,支持 https://copilot.microsoft.comhttps://www.bing.com/chat、 Copilot Microsoft Edge (Edge 右上角點開的右側視窗)、 Windows Copilot (新版 Windows 工作列 Copilot 圖示點開)運作。

  2. Copilot Stack (Copilot 開發堆疊) - 供開發人員打造 Copilot 相關應用的技術平台與工具,從 Low Code 到寫 Code 寫到爽都有相關產品,另外 VSCode 跟魔法武器 Github Copilot 照例還是 Stack 的主力擔當之一。

  3. NPU - Neural Processing Unit,神經處理器,未來 CPU 會內建用於 AI 計算的專用處理器,可取代 GPU 處理一些輕量級 AI 運算,算力比不上 GPU,但 NPU 耗能低且內建,適合一些不需要牛刀的情境。

  4. Copilot+ PC - 前陣子喊得震天價響的 AI PC,算是有較具體的樣貌了,可簡單定義成搭載 NPU,可配合 Windows 在本機跑小模型及 AI 運算的電腦主機。

  5. Phi Silica - 微軟推出自家小型語言模型(SLM) Phi,Phi Silica 是最小版本,只有 3.3B 參數(33 億),由於規模小,在 Copilot+ PC 也能順順跑,每秒生成約 27 個 Token。

  6. Windows Copilot Runtime:簡單說,就是為 Windows 加入原生的 AI 支援,包含 AI Frameworks + Toolchains、Windows Copilot Library + On-device models、Application + Experiences 三塊。

  7. Windows Copilot Library - 提供一堆 AI 功能的 API,如:

    • Studio Effects - 為相機及音訊加入背景效果、眼部接觸校正、自動框架、語音焦點、模糊、光源和濾鏡(使用本機 NPU 加速運算)
    • Recall - 記錄你在裝置上的活動,保留擷圖方便事後回顧查詢 (註:有人擔心隱私外流疑慮)
    • Phi Silica - 呼叫 Phi 語言模型進行自然語言處理
    • Text Recognition: 光學字元識別,圖像轉文字
    • 即時字幕翻譯

    今年稍後還會再補上 RAG、向量 Embedding、文字摘要等功能,可使用本機模型完成(支援 40 多種地端模型),不需連雲端服務。

  8. AI Frameworks + Toolchains 方面,Windows 會直接內建 PyTorch 支援跟 Web Neural Network。
    Web Neural Network, WebNN 是一套新的 Web API 標準,讓網頁應用程式可以利用 CPU、GPU、NPU 來加速神經網路運算。
    PyTorch 則是目前主流的 Python 機器學習程式庫。
    Windows 透過 DirectML 支援二者充分發揮 CPU/GPU/NPU 的效能。

  9. DirectML 是 Windows 提供的低階機器學習 API,屬於低階硬體抽象層,可透過它在任何 DirectX 12 相容 GPU 執行機器學習相關運算。(未來會加入 NPU)

  10. Github Copiot Extension - 企業可客製化 Github Copilot,整合自家資料庫、服務,在 VSCode 裡做完大小事。

  11. Copilot Studio - Low Code/No Code 工具,依需求設計專屬 AI 助理(Agent)。

  12. Team Copilot - 與 Teams 整合,可以擔任會議主持人、管理議程、記錄討論事項。

  13. Microsoft Fabric - 雲端資料分析平台,新增 Real-Time Intelligence 服務。


Comments

# by yoyo

另外也期待 .NET Aspire

Post a comment