Hacking樂無窮:修正Dapper+ODP.NET無法寫入Unicode問題

歷經一段時間摸索歷練,確立「新増修改用EF/ORM,查詢一律用Dapper」的最高指導原則,Dapper的簡潔、效能與彈性無可挑剔,一切看似完美,直到我膝蓋中了一箭…

無意間發現,使用Dapper+ODP.NET無法寫入Unicode字元

跟Oracle Unicode問題奮戰超過10年,以為妖孽已被降伏,用OracleDbType.NVarChar2應該就萬無一失,甚至要在CommandText中用N'…'也不是問題,萬萬沒想到Oracle Unicode問題今天又跑出來咬我屁股。

用以下範例重現問題:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading.Tasks;
using Dapper;
using Oracle.ManagedDataAccess.Client;
 
namespace OraUnicodeTest
{
    public class Program
    {
        static string csOra = "…略";
        static string csSql = "…略";
 
        static void Main(string[] args)
        {
            using (var cn = new OracleConnection(csOra))
            {
                cn.Execute("UPDATE JEFFTEST SET NAME=:NAME WHERE SEQNO=:SEQNO",
                    new
                    {
                        SEQNO = 1,
                        NAME = "牛牪犇" + DateTime.Now.Millisecond
                    });
            }
            
            using (var cn = new SqlConnection(csSql))
            {
                cn.Execute("UPDATE JEFFTEST SET NAME=@NAME WHERE SEQNO=@SEQNO",
                    new
                    {
                        SEQNO = 1,
                        NAME = "牛牪犇" + DateTime.Now.Millisecond
                    });
            }
        }
    }
}

用標準cn.Execute("UPDATE … SET Col=:V1 WHERE …", new { V1 })寫法同時更新Oracle及SQL寫入Unicode文字,在SQL Server一切正常,在Oracle六頭牛跑了三頭!

SQL Server

Oracle

追進Dapper原始碼,Dapper為求跨資料庫,故只能依賴IDbCommand等通用介面,使用CreateParameter產生參數物件,參數型別也必須採通用的System.Data.DbType列舉。至於字串,除非以new DbString() { Value="…", IsAnsi = true }指定System.Data.DbType.AnsiString,字串一律視為System.Data.DbType.String,支援Unicode字元。

由此推論ODP.NET在處理Parameter型別DbType.String時,理應對應成絕對支援Unicode字串的OracleDbType.NVarChar2,卻誤對應成OracleDbType.VarChar2。爬文更發現,不只Dapper,一些使用DbType.String的跨平台程式庫,遇上ODP.NET時也紛紛中箭落馬,例如:NHibernate

用以下實驗驗證ODP.NET處理DbType.String參數有問題:

cn.Open();
var cmd = cn.CreateCommand();
var p = cmd.CreateParameter();
p.ParameterName = "N";
p.DbType = System.Data.DbType.String;
//p.OracleDbType = OracleDbType.Varchar2;
//p.OracleDbType = OracleDbType.NVarchar2;
p.Value = "牛牪犇" + DateTime.Now.Millisecond;
cmd.CommandText = "UPDATE JEFFTEST SET NAME=:N WHERE SEQNO=2";
cmd.Parameters.Add(p);
cmd.ExecuteNonQuery();

實測結果:OracleParameter設定DbType = DbType.String或設定OracleDbType = OracleDbType.Varchar2i時「犇」字都無法正確寫入;必須OracleDbType = OracleDbType.NVarchar2才會正常。

依照System.Data.DbType的設計,DbType.AnsiString對應OracleDbType.Varchar2,DbType.String對應OracleDbType.NVarchar2才合理, 怎麼都覺得是ODP.NET的錯。但為什麼這個錯誤沒有引發大量災情?猜想與它需要以下條件同時成立才會發生有關:

  1. Oracle資料庫未採AL32UTF8編碼
    新建立的資料庫多採UTF8編碼,VARCHAR2即可存入Unicode,因此DbType.String對應成OracleDbType.Varchar2也沒差。本次處理的Oracle環境為求與老系統相容,還在使用ZHT16MSWIN950編碼。
  2. OracleParameter參數型別未指定OracleDbType,而是指定DbType
    OracleParameter同時具備OracleDbType及DbType,都可以設定參數型別。直接使用ODP.NET時,我們多半會指定OracleDbType明確選用NVarchar2或Varchar2,只有Dapper、NHibernate這類必須跨資料庫的程式庫,才會使用與資料庫種類無關的DbType。
  3. 寫入內容剛好有ANSI/BIG5難字
    Dapper寫入NVarchar2的做法已應用在不少地方,這次碰巧寫入資料帶有BIG5難字,問題才爆出來。

這問題挺嚴重,寫Unicode變空白或亂碼誰都不能接受,但要為此放棄Dapper?研判這是ODP.NET的Bug,但感覺被困擾的人不多,Oracle不會積極處理,難道就只能束手無策嗎?

不,誰都別想惹他媽的程式老魔人,誰都別想~ (註:有人提問,補上小河馬典故

判斷是ODP.NET的Bug,但錯誤不普及,短期被修復的可能性不大。但不修正,Dapper無法正確更新Oracle NVARCHAR2,等同廢了一條腿,怎麼辦?

該是駭客登場的時候了,換上墨鏡跟黑色長大衣,打開JustDecomplie反組譯Oracle.ManagedDataAccess.Client.dll鎖定問題根源。

在DbType屬性的set段找到邏輯,當設定OracleParameter.DbType時,背後會同步修改m_oraDbType屬性,而什麼DbType要對應到什麼OracleDbType,由一個內部靜態類別,OraDb_DbTypeTable,的陣列資料:int[] dbTypeToOracleTypeMapping決定。

再追進OraDb_DbTypeTable,靜態建構式裡以Hard-Coding方式指定哪一種DbType列舉要對應成哪一種OracleDbType。先查出各列舉對整數:

(int)OracleDbType.NVarchar2 = 119
(int)OracleDbType.Varchar2 = 126
(int)System.Data.DbType.String = 16

dbTypeToOracleDbTypeMapping[16]=126,罪證確鑿!DbType.String被對應成OracleDbType.Varchar2,是造成Unicode字元無法寫入DB的元兇!

找到根源就好辦,在駭客眼裡,類別屬性欄位哪有分什麼public、internal、private,System.Relection拿出來,想怎麼讀就怎麼讀,愛怎麼改就怎麼改。

我寫了以下修正方法覆寫dbTypeToOracleDbTypeMapping將DbType.String改指向OracleDbType.NVarchar2,修正後ODP.NET + Dapper無法寫入Unicode問題就煙消雲散了。(註:FixOdpNetDbTypStringMapping請放在Glabal.asax.cs或程序、靜態類別啟動過程,整個Process執行一次即可)

static void FixOdpNetDbTypeStringMapping()
{
    Assembly asm = typeof(OracleConnection).Assembly;
    Type tOraDb_DbTypeTable = asm.GetType("Oracle.ManagedDataAccess.Client.OraDb_DbTypeTable");
    var fldDbTypeMapping = tOraDb_DbTypeTable.GetField("dbTypeToOracleDbTypeMapping", 
        BindingFlags.Static | BindingFlags.NonPublic);
    int[] mappings = (int[])fldDbTypeMapping.GetValue(null);
    mappings[(int)System.Data.DbType.String] = (int)OracleDbType.NVarchar2;
    fldDbTypeMapping.SetValue(null, mappings);
}

解決了一個心腹大患,Hacking樂無窮~

歡迎推文分享:
Published 21 August 2016 09:56 PM 由 Jeffrey
Filed under: , ,
Views: 6,307



意見

沒有意見

你的看法呢?

(必要的) 
(必要的) 
(選擇性的)
(必要的) 
(提醒: 因快取機制,您的留言幾分鐘後才會顯示在網站,請耐心稍候)

5 + 3 =

搜尋

Go

<August 2016>
SunMonTueWedThuFriSat
31123456
78910111213
14151617181920
21222324252627
28293031123
45678910
 
RSS
創用 CC 授權條款
【廣告】
twMVC

Tags 分類檢視
關於作者

一個醉心技術又酷愛分享的Coding魔人,十年的IT職場生涯,寫過系統、管過專案, 也帶過團隊,最後還是無怨無悔地選擇了技術鑽研這條路,近年來則以做一個"有為的中年人"自許。

文章典藏
其他功能

這個部落格


Syndication