JSON 資料差異比對小工具

2022-07-30 12:24 PM

再分享一個 .NET 小工具。

目的是要比對兩個 Schema 相同資料表的資料差異，其中一個是參考依據(這裡稱為 Source)，一個是比較對象(稱為 Target)，提供 Primary Key 進行匹配比對，找出有哪幾筆需要新增、哪幾筆要刪除，哪幾筆的哪幾個欄位需要更新？

由於比對程式不一定能連得到資料庫，所以我想採取請有權限的人員將資料表轉成 JSON，再用 JSON 進行比對的做法，如此使用上較靈活不受限。資料表轉 JSON 的工具應該不少，如果懶得找，也可參考先前文章正式台測試台 JSON + Dapper 資料搬移術，用 Dapper + JSON.NET 三行搞定：

using (var cn = new SqlConnection(cs))
{
    var data = cn.Query<Player>(@"SELECT Id,Name,RegDate,Score FROM Players").ToArray();
    json = JsonConvert.SerializeObject(data);
}

比對邏輯不複雜，將資料表轉成的 JSON 反序列化回 List<IDictionary<string, object>>，以 Primary Key 欄位組成以 "|" 串接的字串當 Key，將轉成 Dictionary<string, IDictionary<string, object>>，之後以 LINQ 語法配合 dynamic 型別特性比對，找出新增、減少及 Source 與 Target 都有但部分欄位改變的資料。程式不多，用 .NET 6 Console 專案，全部寫在 Program.cs，不到 150 行搞定：

using Newtonsoft.Json;

//args = new string[] { @".\data\source.json", @".\data\target.json", "PK1,PK2", "IgnoreCol1,IgnoreCol2" };
if (args.Length < 3)
{
    Console.WriteLine("Syntax: JsonDataDiff source.json target.json pkCol1,pkCol2,pkCol3");
    Console.WriteLine("Syntax: JsonDataDiff source.json target.json pkCol1,pkCol2 ingoredCol1,ignoreCol2");
    return;
}
var srcPath = args[0];
var dstPath = args[1];
var pkCols = args[2].Split(',');
string[] ignoredCols = args.Length > 3 ? args[3].Split(',') : Array.Empty<string>();
try
{
    var src = JsonConvert.DeserializeObject<List<IDictionary<string, object>>>(File.ReadAllText(srcPath));
    var dst = JsonConvert.DeserializeObject<List<IDictionary<string, object>>>(File.ReadAllText(dstPath));
    var report = Compare(pkCols, src, dst, ignoredCols);
    var color = ConsoleColor.White;
    var values = string.Empty;
    foreach (var entry in report)
    {
        switch (entry.Action)
        {
            case "INSERT":
                color = ConsoleColor.Green;
                values = string.Join(",", entry.Values.Select(o => $"{o.Key}=[{o.Value}]").ToArray());
                break;
            case "DELETE":
                color = ConsoleColor.Magenta;
                values = "Key=" + entry.PrimKey;
                break;
            case "UPDATE":
                color = ConsoleColor.Cyan;
                values = string.Join(",", entry.Values.Select(o => $"{o.Key}:{o.Value}").ToArray());
                break;
        }
        Console.ForegroundColor = color;
        Console.WriteLine($"*** {entry.Action} / {entry.PrimKey} ***");
        Console.ForegroundColor = ConsoleColor.White;
        Console.WriteLine("  " + values);
        Console.ResetColor();
    }
}
catch (Exception ex)
{
    Console.ForegroundColor = ConsoleColor.Red;
    Console.WriteLine($"*** ERROR ***");
    Console.ResetColor();
    Console.WriteLine(ex.ToString());
}

static DiffEntry[] Compare(string[] primKeys, List<IDictionary<string, object>> src, List<IDictionary<string, object>> dst, string[] ignoredColNames)
{
    string[] colNames = src.First().Keys.ToArray();
    if (dst.Any() && src.First().Keys.Count != dst.First().Keys.Count) throw new ArgumentException("src 與 dst 欄位數不同");
    Func<IDictionary<string, object>, string> GetPKString = (d) => string.Join("|", primKeys.Select(o => d[o]).ToArray());
    Func<object, string> Dump = (o) => {
        if (o == null) return "null";
        if  (o is DateTime) return ((DateTime)o).ToString("yyyy-MM-dd HH:mm:ss").Replace(" 00:00:00", "");
        return o.ToString();
    };
    //產生新增資訊
    Func<IDictionary<string, object>, DiffEntry> GenInsertEntry = (d) =>
    {
        return new DiffEntry
        {
            Action = "INSERT",
            PrimKey = GetPKString(d),
            Values = colNames.Where(o => !ignoredColNames.Contains(o)).ToDictionary(c => c, c => Dump(d[c]))
        };
    };
    //產生刪除資訊
    Func<IDictionary<string, object>, DiffEntry> GenDeleteEntry = (d) =>
    {
        return new DiffEntry
        {
            Action = "DELETE",
            PrimKey = GetPKString(d),
            Values = null
        };
    };
    //比對兩值是否相等
    Func<object, object, bool> AreEqual = (a, b) =>
    {
        if (a == null && b == null) return true;
        if (a == null || b == null) return false;
        if (a is decimal && b is decimal) return a.Equals(b);
        return a.ToString() == b.ToString();
    };
    //產生異動資訊
    Func<IDictionary<string, object>, IDictionary<string, object>, DiffEntry> GenUpdateScript = (source, dest) =>
    {
        var updColNames = new List<string>(); //需要更動的欄位
                var changes = new Dictionary<string, string>();
        colNames
            .Where(colName => !ignoredColNames.Contains(colName))
            .Where(colName => !AreEqual(source[colName], dest[colName])).ToList()
            .ForEach(colName =>
            {
                changes.Add(colName, $"[{dest[colName]}] -> [{source[colName]}]");
            });
        if (!changes.Any())
            return null; //若無欄位要更新，忽略
                return new DiffEntry
        {
            Action = "UPDATE",
            PrimKey = GetPKString(source),
            Values = changes
        };
    };

    //以Primary Key欄位字串為Key，轉成Dictinoary
    var srcDict = src.ToDictionary(o => GetPKString(o), o => o);
    var dstDict = dst.ToDictionary(o => GetPKString(o), o => o);
    //找出來源有但目的沒有的，新增
    var entries = new List<DiffEntry>();
    srcDict.Keys.Except(dstDict.Keys).ToList().ForEach(pk =>
    {
        entries.Add(GenInsertEntry(srcDict[pk]));
    });
    //目的有來源無，刪除之
    dstDict.Keys.Except(srcDict.Keys).ToList().ForEach(pk =>
    {
        entries.Add(GenDeleteEntry(dstDict[pk]));
    });
    //兩邊都存在者，比對是否有異動
    srcDict.Keys.Intersect(dstDict.Keys).ToList().ForEach(pk =>
    {
        var entry = GenUpdateScript(srcDict[pk], dstDict[pk]);
        if (entry != null) entries.Add(entry);
    });
    return entries.ToArray();
}

public class DiffEntry
{
    public string Action { get; set; }
    public string PrimKey { get; set; }
    public IDictionary<string, string> Values { get; set; }
}

準備了以下兩個 JSON 實測，以 Id 為 Primary Key，Jeffrey 這筆完全相同、DateChg 的 UpdTime 欄位改變、ScoreChg 的 Score 不同，source.json 有一筆 New 是新增的，target.json 有一筆 ToRemove 在 source.json 不存在，應判定為要移除：