C#中HttpWebRequest發起HTTP請求,如何設定才能達到最大並行和效能

2023-12-01 06:01:34

在C#中使用HttpWebRequest發起HTTP請求時,達到最大並行和效能可以從以下幾個方面改進:

1. ServicePointManager設定

ServicePointManager 類是一個靜態類,它提供了用於管理HTTP連線的屬性和方法。為了提升並行效能,你需要調整以下幾個關鍵屬性:

  • DefaultConnectionLimit: 預設情況下,.NET Framework的ServicePointManager限制了對同一域名的並行連線數(通常是2)。你可以通過提高這個限制來允許更多的並行連線。

ServicePointManager.DefaultConnectionLimit 100// 一個合適的值,例如100

  • Expect100Continue: 當你傳送一個POST請求時,.NET會先傳送一個包含Expect: 100-continue頭部的請求,詢問伺服器是否願意接受資料。禁用此選項可能會提高效能。

ServicePointManager.Expect100Continue false;

  • ReusePort: 這是.NET Core中的一個設定,如果你使用.NET Core,開啟這個設定可以讓不同的HTTP請求重用相同的本地埠。

ServicePointManager.ReusePort true;

2. 非同步程式設計模型

使用HttpWebRequest的非同步方法,如BeginGetResponseEndGetResponse或者GetResponseAsync,可以讓你的應用程式在等待HTTP響應時不會阻塞,這對於提高並行效能非常重要。

3. 資源利用和釋放

確保在請求完成後及時釋放HttpWebResponse物件和其他資源,以避免不必要的資源佔用和記憶體漏失。

using (HttpWebResponse response (HttpWebResponse)request.GetResponse()// 處理響應 }

4. 並行處理

在.NET中,可以使用Parallel類或者Task類來並行傳送多個請求。

var tasks = urls.Select(url => Task.Run(() => { 
// 使用HttpWebRequest傳送請求 })).ToArray(); 
Task.WaitAll(tasks); // 等待所有請求完成

 

5. 使用HttpClient

如果可能,考慮使用HttpClient類來代替HttpWebRequest

HttpClient是一個更現代的HTTP使用者端,它提供了更簡潔的API,更好的非同步支援,並且預設就設定了更高的並行連線限制。

using (var client = new HttpClient()) { // 傳送請求 }

6. 系統級設定

有時候,作業系統級別的設定也會對HTTP並行效能產生影響。例如,在Windows上,可能需要調整登入檔中的MaxUserPortTcpTimedWaitDelay值來增加可用的埠數量和減少埠釋放前的等待時間。

在Windows作業系統中,MaxUserPort 是一個登入檔項,用於確定可用的最大使用者埠號。預設情況下,MaxUserPort 的值通常設定為 5000,這意味著TCP/IP協定棧會使用1024到5000之間的埠號用於使用者的TCP/UDP連線。

如果你需要調整 MaxUserPort 的值(比如,你想要允許更多的並行網路連線),你可以通過登入檔編輯器(regedit)進行修改。通常,MaxUserPort 的值位於以下登入檔路徑:

HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\Tcpip\Parameters

在修改 MaxUserPort 值後,通常需要重啟Windows作業系統來使更改生效,因為TCP/IP堆疊需要重新載入設定引數。

對於高並行應用,MaxUserPort 值可以設定得更高,以允許系統開啟更多的動態埠。理論上,這個值可以設定到 65534 (因為 0 到 1023 是保留埠,而 65535 是最大埠號),但實際上,推薦的最大值通常會低於這個理論上限。

在實踐中,很多Windows伺服器管理員可能會將 MaxUserPort 設定在 10000 到 60000 之間,具體數值取決於應用需求以及系統和網路環境。微軟官方檔案曾建議可以將 MaxUserPort 設定為 32768,但這並不是一個硬性限制,實際應用中應根據具體情況進行設定。

設定 MaxUserPort 時應當謹慎,因為非常高的值可能會導致系統資源(例如記憶體和控制程式碼等)的消耗增加。此外,這種改變可能會影響到網路安全策略。因此,最好在調整這個值之前評估應用的實際需求,並在測試環境中進行充分測試。

在修改 MaxUserPort 後,你需要重啟系統以使設定生效。同時,建議配合 TcpTimedWaitDelay 登入檔項一起調整,這可以幫助更快地回收處於 TIME_WAIT 狀態的埠,從而允許系統再次使用這些埠。預設情況下,TcpTimedWaitDelay 的值為 240 秒,但可以減少到 30-60 秒,特別是在高並行環境中,這樣可以幫助減少因為埠耗盡導致的連線問題。

TcpTimedWaitDelay 是Windows登入檔中的一個項,用於控制TCP連線關閉後,其埠進入TIME_WAIT狀態的時間。TIME_WAIT狀態是TCP連線斷開後的一種保持狀態,用於確保最後的確認包能夠到達。這個時間預設是240秒。

減少 TcpTimedWaitDelay 的值可以加快埠的回收速度,這對於那些需要處理大量短連線的高並行應用是有益的。對於 TcpTimedWaitDelay,典型的設定值介於30秒到120秒之間。

要設定 TcpTimedWaitDelay,請按照以下步驟:

  • 開啟登入檔編輯器(regedit)。這可以通過在開始選單中搜尋「regedit」或者按 Win + R 鍵開啟執行視窗,然後輸入 regedit 並回車來完成。

  • 導航到以下路徑:

    HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\Tcpip\Parameters
    
  • 查詢 TcpTimedWaitDelay 鍵值。如果它不存在,你需要建立它:

    • 右鍵點選 Parameters 目錄,選擇 新建 -> DWORD (32位元) 值
    • 將新建立的鍵值命名為 TcpTimedWaitDelay
  • 雙擊 TcpTimedWaitDelay 鍵值,然後在「數值資料」框中輸入你希望設定的秒數(請確保你選擇了十進位制而不是十六進位制)。

  • 點選「確定」儲存更改。

  • 關閉登入檔編輯器。

  • 為了使更改生效,你需要重啟你的計算機。

在調整 TcpTimedWaitDelay 之前,請確保你瞭解更改的影響,並且在生產環境中進行更改前在測試環境中進行了充分測試。不恰當的設定可能會導致不預期的行為,例如潛在的網路問題或效能下降。

7. 伺服器設定

使用者端效能的提升也依賴於伺服器端的設定。確保伺服器能夠處理高並行連線和請求。

8. 效能測試

使用壓力測試工具(如JMeter或LoadRunner)對你的應用程式進行壓力測試,以確定最佳的並行設定。通過測試可以發現效能瓶頸,並據此調整設定。

注意事項

  • 設定ServicePointManager.DefaultConnectionLimit過高可能會導致伺服器壓力增大,甚至拒絕服務,應根據實際情況謹慎設定。
  • 在高並行場景中,HttpClient通常是比HttpWebRequest更好的選擇。
  • 使用非同步程式設計模式時,確保理解asyncawait關鍵字,避免常見的陷阱,如死鎖。