Build 2024 開發者大會雜記 1 - Keynote 關鍵字整理

繼上週 OpenAI 發佈 GPT-4o、Google I/O 開發者大會，這幾天輪到微軟 Build 2024 開發者大會 (呃... 開發者會不會太忙了點？)，一如預期，焦點全在 AI，而且火力全開。

我先看了微軟 CEO Satya 的 Keynote，不出意外，滿滿沒學過、不熟的新名詞或關鍵字連發，看影片全程差不多是這種感覺：

這篇且讓我緩一緩，先整理我個人印象深刻的一些關鍵字：

1. Microsoft Copilot - 就是原本的 Bing Chat，現在 Microsoft Copilot 成為一個共用服務，支持 https://copilot.microsoft.com、https://www.bing.com/chat、 Copilot Microsoft Edge (Edge 右上角點開的右側視窗)、 Windows Copilot (新版 Windows 工作列 Copilot 圖示點開)運作。

2. Copilot Stack (Copilot 開發堆疊) - 供開發人員打造 Copilot 相關應用的技術平台與工具，從 Low Code 到寫 Code 寫到爽都有相關產品，另外 VSCode 跟魔法武器 Github Copilot 照例還是 Stack 的主力擔當之一。
   

3. NPU - Neural Processing Unit，神經處理器，未來 CPU 會內建用於 AI 計算的專用處理器，可取代 GPU 處理一些輕量級 AI 運算，算力比不上 GPU，但 NPU 耗能低且內建，適合一些不需要牛刀的情境。

4. Copilot+ PC - 前陣子喊得震天價響的 AI PC，算是有較具體的樣貌了，可簡單定義成搭載 NPU，可配合 Windows 在本機跑小模型及 AI 運算的電腦主機。

5. Phi Silica - 微軟推出自家小型語言模型(SLM) Phi，Phi Silica 是最小版本，只有 3.3B 參數(33 億)，由於規模小，在 Copilot+ PC 也能順順跑，每秒生成約 27 個 Token。

6. Windows Copilot Runtime：簡單說，就是為 Windows 加入原生的 AI 支援，包含 AI Frameworks + Toolchains、Windows Copilot Library + On-device models、Application + Experiences 三塊。

7. Windows Copilot Library - 提供一堆 AI 功能的 API，如：

   • Studio Effects - 為相機及音訊加入背景效果、眼部接觸校正、自動框架、語音焦點、模糊、光源和濾鏡(使用本機 NPU 加速運算)
   • Recall - 記錄你在裝置上的活動，保留擷圖方便事後回顧查詢 (註：有人擔心隱私外流疑慮)
   • Phi Silica - 呼叫 Phi 語言模型進行自然語言處理
   • Text Recognition: 光學字元識別，圖像轉文字
   • 即時字幕翻譯

   今年稍後還會再補上 RAG、向量 Embedding、文字摘要等功能，可使用本機模型完成(支援 40 多種地端模型)，不需連雲端服務。

8. AI Frameworks + Toolchains 方面，Windows 會直接內建 PyTorch 支援跟 Web Neural Network。
   Web Neural Network, WebNN 是一套新的 Web API 標準，讓網頁應用程式可以利用 CPU、GPU、NPU 來加速神經網路運算。
   PyTorch 則是目前主流的 Python 機器學習程式庫。
   Windows 透過 DirectML 支援二者充分發揮 CPU/GPU/NPU 的效能。

9. DirectML 是 Windows 提供的低階機器學習 API，屬於低階硬體抽象層，可透過它在任何 DirectX 12 相容 GPU 執行機器學習相關運算。(未來會加入 NPU)

10. Github Copiot Extension - 企業可客製化 Github Copilot，整合自家資料庫、服務，在 VSCode 裡做完大小事。

11. Copilot Studio - Low Code/No Code 工具，依需求設計專屬 AI 助理(Agent)。

12. Team Copilot - 與 Teams 整合，可以擔任會議主持人、管理議程、記錄討論事項。

13. Microsoft Fabric - 雲端資料分析平台，新增 Real-Time Intelligence 服務。