PowerShell 練習 - 平行作業

PowerShell 執行環境以單執行緒為主，優點是程式邏輯直覺、簡單，但遇上呼叫遠端服務的大量批次操作，性急如王藍田的我，自然無法忍受一堆作業乾等單一窗口消化，這種情境就是要開多執行緒萬箭齊發才爽多線並行才合理!

寫 C# 多執行緒程式我已駕輕就熟，有 Parallel.For、ThreadPool、自開 Thread 等好幾種選擇，但在 PowerShell 裡要怎麼做就得花點時間研究，以下是我的練習成果。

假設我要用 WebAPI 取得 Random.Next() 亂數，每次耗時 0-1 秒(用 System.Threading.Thread.Sleep(new Random().Next(1000)) 模擬)，共要產生 100 個：(請不要問我哪有這麼廢的 WebAPI 玩法，這是範例這是範例)

$todo = 1..100 | ForEach-Object { "Job - $_" } 

$sw = New-Object System.Diagnostics.Stopwatch
$sw.Start()
# 循序執行
$todo | ForEach-Object {
    $randNum = (Invoke-WebRequest -Uri http://localhost/aspnet/getrandomnumber.aspx).Content
    Write-Host "$_ : $randNum"
}
$sw.Stop()
Write-Host "耗時$($sw.ElapsedMilliseconds.ToString('n0'))ms"

用 ForEach 跑迴圈，取 100 個亂數耗時 54 秒：(延遲 0-1 秒，平均 0.5 秒，合乎預期)

查到一篇很棒的介紹：PowerShell Multithreading: A Deep Dive，整理重點如下：

• PowerShell 實現多緒執行最簡單的做法是使用 PSJob 背景執行作業，以 Start-Job 建立並執行，Wait-Job 等待作業執行完成，Receive-Job 取得作業傳回結果，概念還蠻簡單的。(甚至可以設成排程或由特定事件觸發)
• 有一些 Cmdlet 提供 AsJob 可直接轉為背景作業執行，其中最好用的是 Invoke-Command，可傳入 ScriptBlock 以背景執行，甚至在遠端機器跑。
  
• PSJob 好寫但笨重，Start-Job 建立有時需耗時 150ms。改用 Runspace 可提升效率，但寫起來較繁瑣，有個 PoshRSJob 模組能再簡化一些。如果在意效能，建議改用 Runspace。(我內心的 OS：若效能重要，何不用 C# 寫呢？)
• PowerShell 7 推出了 ForEach-Object -Parallel，實現了 .NET Parallel.For 般的簡便做法，但要考慮執行主機是否能升級版本。(前幾天我就遇上主機是 PS 4.0 的狀況，鳴...)
• PSJob 或 Runspace 間無法共享變數或其他資源、Logging 也變得困難，要花點心思設計。

最後，我試著用 PSJob 實做出八線平行作業版：

# 將待處理工作用 PSCustomObject 包成物件
# 包含參數及分組代碼及存放結果用的屬性
# 註: Class 要 PS 5.1+，為相容 PS 4.0 可取 PSCustomObject
$todo = 1..100 | ForEach-Object { 
    return [PSCustomObject]@{
        Name   = "Job - $_"
        GrpNo  = -1
        Result = ""
    }
} 

# 在 PowerShell 要搞非同步鎖定有點困難，就不搞待處理 Queue 或消費者生產者模型了
# 用以下函式事先將待處理陣列平分成多個
function SplitArray([object[]]$array, [int]$groupCount) {
    $arrayLength = $array.Length;
    # 注意：C# 整數相除結果為無條件捨去的整數，但 PowerShell 則含小數點
    $countPerGrp = [Math]::Floor($arrayLength / $groupCount)
    $remainder = $arrayLength % $groupCount
    $result = New-Object System.Collections.ArrayList
    $index = 0
    0..($groupCount - 1) | ForEach-Object {
        $takeCount = $countPerGrp
        if ($_ -le $remainder - 1) {
            # 除不盡的餘數由前面幾筆分攤
            $takeCount++
        }
        # 用 Skip + First 從第 index 取 takeCount 筆進行分組
        $subArray = @($array | Select-Object -Skip $index -First $takeCount)
        # 在待處理工作項目標註群組別(這個是實驗觀察用的，實務應用時不需要)
        $subArray.ForEach("GrpNo", $_)
        $index += $takeCount　
        $result.Add($subArray)
    } | Out-Null
    return $result
}

# 將待處理項目分成八組
$groups = SplitArray $todo 8

$sw = New-Object System.Diagnostics.Stopwatch
$sw.Start()
# 平行執行
$psJobPool = New-Object System.Collections.ArrayList
$groups | ForEach-Object {
    $psJob = Start-Job -ScriptBlock {
        param ([object[]]$array)
        $array | ForEach-Object {
            $randNum = (Invoke-WebRequest -Uri http://localhost/aspnet/getrandomnumber.aspx).Content
            $_.Result = $randNum
            # 填上執行結果後將整個 PSCustomObject 回傳
            return $_
        }
        # 眉角：下寫的寫法確保將整個 ArrayList 當成 ArgumentList 的一個參數
        #       而非將 ArrayList 轉成 ArgumentList
        #       參考：https://blog.darkthread.net/blog/psfaq-return-collection/
    } -ArgumentList @(, $_) 
    $psJobPool.Add($psJob) | Out-Null
}
# Wait-Job 可等待所有 PSJob 結束
$psJobPool | Wait-Job | Out-Null
$sw.Stop()
# Receive-Job 接收 PSJob 傳回結果
$result = $psJobPool | Receive-Job
$result | ForEach-Object {
    Write-Host "[$($_.GrpNo)] $($_.Name) : $($_.Result)"
}
Write-Host "耗時$($sw.ElapsedMilliseconds.ToString('n0'))ms"

裡面眉角不少，前陣子學會的陣列、函式回傳集合知識也派上用場，細節我都寫在註解裡了。深深覺得 PowerShell 是個入門不難精通不易的語言，跟 JavaScript 有拼。

實測改為八緒並行，執行時間由 54 秒縮短至不到 12 秒，成功!

Practice of runing code parallelly with JSJobs in PowerShell.