【茶包射手日記】清理內含 750 萬個檔案的資料夾

調查一起 C 槽空間莫名消失的茶包，發現踩到 ManageEngine Desktop Central, MEDC 的地雷，軟體出錯在 C:\ProgramData\Microsoft\Crypto\SystemKeys 塞了超過 750 萬個私鑰檔案，檔案大小合計約 7G，但因空間配置以 4K 為單位，實際用掉約 30G：

(圖片為網友案例，非本案)

確認問題後，先移除 MEDC 軟體，再來想辦法清掉殘留的 SystemKeys 檔案騰出空間。

刪檔案？簡單，打開檔案總管選取，按 Shift-Del 永久刪除不就好了？

一般狀況是這樣沒錯，但是當資料夾內檔案數量超過百萬，你會發現世界變了：(參考：超過一百萬個檔案的 NTFS 資料夾…)

• 用檔案總管開資料夾時會卡死沒反應，還無法取消或關閉
• DIR 可以執行列出檔案，但只見檔案清單無窮無盡捲個不停，捲到此恨綿綿無絕期，超越常人的耐心極限
• 單純 DIR 還能看到檔名狂跑，DIR /OD（依日期排序）、DIR *_Blah.txt （篩選檔名特徵）則是一執行就沒反應直到地老天荒…
• 想用 .NET Directory.GetFiles() 逐一抓取檔案刪除，GetFiles() 會一次讀入完整清單，登楞!
• 試用 PowerShell Get-ChildItem 也是指令下完音訊全無

與上回一百萬個檔案相比，750 萬個檔案造成的卡頓更是讓人嘆為觀止，連用唯一能動的 DIR 指令，查詢時間也是以小時為單位(註：與後來對照實驗結果有些出入，見下方更新)。想過用del .來個射後不理，暴力清空資料夾所有檔案，但 SystemKeys 可能包含使用中的私鑰，胡亂刪除擔心後遺症。對照過幾台 Windows 的 SystemKeys 目錄(正常檔案數量為個位數)，發現可以用長度來識別，正常金鑰檔案清一色是 1597 Bytes，MEDC 產生的只有 958 Bytes，故可以鎖定大小是 958 的檔案進行刪除。

為了方便反覆測試、除錯，我決定將 dir 結果先存成檔案，再寫程式篩選刪除檔案。金鑰檔為系統隱藏檔，要用 dir /a 才會出現，750 萬個檔案 dir 要跑一個小時以上，我用dir /a | tee d:\temp\syskeys.txt 將結果同時輸出到螢幕跟檔案，隨時觀察進度比較不會焦躁。

(2022-07-25 更新：一般而言，數百萬個檔案的 dir 寫入檔案比輸出螢幕快 N 倍，不要串 tee 直接用 dir /a > file_path 轉存能省超多時間。如要觀察進度，用 tail 工具偷看檔案會比較有效率。)

刪檔程式用 C# 寫，邏輯很簡單，用 StreamReader 逐行讀取檔案資料，比對大小為 958 時取出檔案名稱，組成完整路徑以 File.Delete() 刪除。(原本猶豫要不要開多執行緒跑，但作業瓶頸在 Disk IO，實測一個執行緒刪檔就讓 Disk Queue Length > 5，Active Time 100%，還是別雪上加霜)

using System.IO;

var sysKeyFolder = @"C:\ProgramData\Microsoft\Crypto\SystemKeys";
using (var sr = new StreamReader("d:\\temp\\syskeys.txt")) 
{
    string line;
    while ((line = sr.ReadLine()) != null) 
    {
        var pos = line.IndexOf("958 ");
        if (pos > -1)
        {
            var fn = line.Substring(pos + 4);
            var path = Path.Combine(sysKeyFolder, fn);
            Console.Write(fn);
            if (File.Exists(path)) 
            {
                File.Delete(path);
                Console.WriteLine(" deleted");
            }
            else 
                Console.WriteLine(" not found");
        }
    }
}

經過漫長的等待，最後成功取回 30G 空間。

有人好奇 752 萬個檔案要花多久刪完嗎？

答案：16 小時。

Experience of cleaning the folder with 7.5 millions files with DIR and .NET program.