Big5-HKSCS編碼補遺

前陣子找到將Big5-HKSCS編碼轉為Unicode的解決方案,實際應用卻發現問題 -- 若字串已是Unicode編碼且混雜其他語系字元,HKSCS_Big5ToUnicode41()便無法招架。

延續上回的例子:

在"滙豐銀行 警衞室"後方故意加上"喆"跟"犇"這兩個BIG5編碼不支援的難字,經轉換後,滙與衞轉對了,喆與犇兩個字卻變成"?"。推敲原因是HKSCS_Big5ToUnicode41()將傳入字串視為Big5-HKSCS編碼,在.NET裡加入的喆犇二字則是Unicode編碼,在Big5-HKSCS沒有對應,便成了"?"。

想起hkscs04.dll還有另一個方法 -- HKSCS_PUAToUnicode41(),當初搞不太懂PUA(Private User Area)便多沒理它。這回遇上Unicode難字的困境,反而讓我意會到PUA的意義,一併解開殘留的謎團。當我們用GetEncoding(950).GetString()解讀Big5-HKSCS編碼內容,香港擴充字其實已被成功解析,只是它們被對映成使用者造字區(PUA)的字元,而標準字型檔未提供造字區字型,顯示時便以空白或方框呈現。網友rick提到套用"細明體_HKSCS字型檔"的解法,就是補齊了香港擴充字在造字區編碼對應的字型,讓文字得以正確顯示。然而,在Unicode 4.1標準裡,已收納了這些香港擴充字,不再需要PUA造字區,而HKSCS_PUAToUnicode41()的目的便是將PUA造字區的香港擴充字對應成Unicode 4.1內建的標準字元。

決定改寫HkscsHelper,將HKSCS_Big5ToUnicode41()及HKSCS_PUAToUnicode41()分別包裝成ConvertBig5()及ConvertPua(),並採用網友CIHsieh補充的[MarshalAs(UnmanagedType.LPWStr)]技巧,直接用StringBuilder接收結果,不必扯上Marshal.AllocHGlobal、Marshal.Copy、Marshal.FreeHGlobal,程式清爽許多。

using System;
using System.Runtime.InteropServices;
using System.Text;
 
class HkscsHelper
{
    const uint HKSCS_ERR_INVALID_CHARS = 0x00000001;
 
    [DllImport("hkscs04.dll")]
    public static extern int HKSCS_Big5ToUnicode41(
        uint dwFlags, 
        [In][MarshalAs(UnmanagedType.LPStr)]string lpBig5Str, int cbBig5,
        [Out][MarshalAs(UnmanagedType.LPWStr)]StringBuilder lpUnicode41Str, 
        int cchUnicode41);
 
    [DllImport("hkscs04.dll")]
    public static extern int HKSCS_PUAToUnicode41(
        [In][MarshalAs(UnmanagedType.LPWStr)]string lpPUAStr, int cchPUA,
        [Out][MarshalAs(UnmanagedType.LPWStr)]StringBuilder lpUnicode41Str, 
        int cchUnicode41);
 
    public static string ConvertBig5(string srcString)
    {
        int srcLen = Encoding.GetEncoding(950).GetByteCount(srcString);
        int len = HKSCS_Big5ToUnicode41(HKSCS_ERR_INVALID_CHARS, 
                  srcString, srcLen, null, 0);
        StringBuilder sb = new StringBuilder(len);
        len = HKSCS_Big5ToUnicode41(HKSCS_ERR_INVALID_CHARS,
                  srcString, srcLen, sb, len);
        return sb.ToString().Substring(0, len);
    }
 
    public static string ConvertPua(string srcString)
    {
        int srcLen = srcString.Length;
        int len = HKSCS_PUAToUnicode41(srcString, srcLen, null, 0);
        var sb = new StringBuilder(len);
        len = HKSCS_PUAToUnicode41(srcString, srcLen, sb, len);
        return sb.ToString().Substring(0, len);
    }
}

有了ConvertPua()後,就不怕字串混雜HKSCS及多語系Unicode難字囉~

我不確定二者是否有效能上的差別,由於.NET字串骨子裡都是Unicode編碼,在轉換時,統一使用ConvertPUA()應該就夠了。

感謝rick與CIHsieh的回饋補充,只是起了個頭,靠著大家分享專長與經驗,才漸漸拼湊出完整輪廓揭開謎團,找到更完善的解決方案,這感覺真好! :D

歡迎推文分享:
Published 07 March 2014 08:28 PM 由 Jeffrey
Filed under:
Views: 5,256



意見

# pbnttttt said on 20 October, 2016 11:35 AM

黑大你好,我在網路上找不到hkscs04.dll,能否請您寄給我這隻dll,謝謝您。

email:pbnttttt@gmail.com

你的看法呢?

(必要的) 
(必要的) 
(選擇性的)
(必要的) 
(提醒: 因快取機制,您的留言幾分鐘後才會顯示在網站,請耐心稍候)

5 + 3 =

搜尋

Go

<March 2014>
SunMonTueWedThuFriSat
2324252627281
2345678
9101112131415
16171819202122
23242526272829
303112345
 
RSS
創用 CC 授權條款
【廣告】
twMVC

Tags 分類檢視
關於作者

一個醉心技術又酷愛分享的Coding魔人,十年的IT職場生涯,寫過系統、管過專案, 也帶過團隊,最後還是無怨無悔地選擇了技術鑽研這條路,近年來則以做一個"有為的中年人"自許。

文章典藏
其他功能

這個部落格


Syndication