Coding4Fun - .NET 串接 Whisper 麥克風語音識別整合 ChatGPT 即時翻譯

昨天提到將 Whisper Mic 包成微服務，走 Server-Sent Events (SSE) 串流提供即時語音識別結果，SSE 是 HTTP 標準，理論上不管你用什麼程式語言或平台，都能輕鬆串接。

剛好有讀者問到語音識別加即時翻譯的問題，算是經典到不能再經典的應用。那還等什麼，就來寫幾行程式實測看看可行性。

程式語言當然選我最擅長的 C#，呼叫 ChatGPT API 部分可參考先前文章，範例中的 GptChatService 類別，完全不用修改可以直上。

要用 HttpClient 讀取串流回應，GetAsync() 要傳入 HttpCompletionOption.ResponseHeadersRead，指定不要等待全部 Response 傳完，讀完 Header 就返回。接著從 response.Content.ReadAsStreamAsync() 取得 Stream 物件，後續則完全比照 FileStream、NetworkStream 讀資料的操作，沒什麼大學問。

因此，若想即時翻譯語音識別結果，while 迴圈跑 StreamReader.ReadLine() 逐句接收 Whisper Mic 傳回的語音識別文字，呼叫 ChatGPT API 將其翻成英文，就這麼簡單。程式範例如下：

using System.Text;
using Microsoft.Extensions.Configuration;

Console.OutputEncoding = Encoding.UTF8;
Console.InputEncoding = Encoding.UTF8;

var config = new ConfigurationBuilder()
    .SetBasePath(Directory.GetCurrentDirectory())
    .AddJsonFile("appsettings.json", optional: false, reloadOnChange: true)
    .AddEnvironmentVariables()
    .Build();
Func<string, string> readConfig = (key) => config[key] ?? throw new ArgumentNullException(key);
var chatSvc = new GptChatService(readConfig("OpenAiUrl"), readConfig("OpenAiKey"), readConfig("OpenAiDepName"));

using var httpClient = new HttpClient();
using var response = await httpClient.GetAsync("http://localhost:5000/listen", HttpCompletionOption.ResponseHeadersRead);

response.EnsureSuccessStatusCode();

Console.WriteLine("開始接收語音辨識結果進行即時翻譯...");
using var stream = await response.Content.ReadAsStreamAsync();
using var reader = new System.IO.StreamReader(stream);
var sysPrompt = "你是一個即時口語翻譯，負責將語音識別回傳的中文內容翻成英文";
while (true)
{
    var line = await reader.ReadLineAsync();
    if (line != null && line.StartsWith("data: "))
    {
        var text = line.Substring("data: ".Length);
        // TODO: 可累積一定長度再送出，前後文參照愈完整翻譯準確度愈好，代價是會增加延遲
        Console.ForegroundColor = ConsoleColor.Yellow;
        Console.WriteLine($"原文：{text}");
        var answer = await chatSvc.Complete(sysPrompt, text, true);
        Console.ForegroundColor = ConsoleColor.Cyan;
        Console.WriteLine($"翻譯：{answer}");
        Console.ResetColor();
    }
}

實測結果一切如同預期，語音轉成的中文順利翻成英文，除非洞察說話者背景或完整語境才能正確識別的專業詞彙，如 .NET，不意外地猜錯了，而翻譯出來英文則維持 ChatGPT 一向的水準，沒太多可以挑剔之處。

打完收工。

This article demonstrates combining Whisper Mic for speech recognition and ChatGPT API for real-time translation into English using C#. The process involves streaming recognized speech via SSE and translating it with ChatGPT. The provided C# code illustrates how to handle streaming responses and call the translation API. The practical implementation confirms successful translation with minor errors in technical terms.