InfiniBand 技術核心

Photo by JJ Ying on Unsplash

定義與架構

• InfiniBand（IB）是一種高效能互連標準，專為高性能運算（HPC）與大規模資料中心設計，具備極低延遲與高吞吐量特性17。其架構採用交換式拓撲，解決傳統共享匯流排的瓶頸問題，允許多節點同時進行點對點通訊28。

關鍵技術優勢

• 1. RDMA（遠端直接記憶體存取）

     直接讀寫遠端記憶體，無需CPU介入，降低延遲並提升效能，適用於AI訓練與儲存系統連接36。

  2. 動態路由與拓撲

     支援多種網路拓撲（如Fat-Tree、DragonFly+），透過動態路由優化通訊效率，例如橡樹嶺國家實驗室的Summit超級電腦將網路效率提升至96%46。

  3. 頻寬與擴展性

     最新NDR InfiniBand單埠達400Gb/s，交換器支援128個200Gb/s埠，適用於百萬級節點規模46。

In-Network Computing（網路內運算）

概念與應用

• In-Network Computing將運算功能整合至網路設備，例如在交換器直接處理AllReduce演算法，減少資料傳輸量並解決網路瓶頸14。此技術在AI模型訓練中尤為關鍵，能提升分布式運算效率。

技術實現

• • 硬體加速：交換器內建運算引擎，直接處理網路層與傳輸層任務，降低CPU負擔46。

  • 協議整合：結合RDMA與GPU Direct RDMA，優化GPU間通訊效能，例如NVIDIA DGX系統採用此架構加速AI訓練46。

技術對比與應用場景

• 項目 InfiniBand 乙太網 延遲 極低（微秒級）37 較高（毫秒級）3 擴展性 支援百萬級節點46 需額外路由器，擴展受限3 RDMA支援 原生整合36 需額外協議（如RoCE）3 主要應用 超級電腦、AI訓練、HPC14 一般企業網路、邊緣運算3

  應用場景：

  1. AI訓練：NVIDIA DGX SuperPOD採用InfiniBand與In-Network Computing，支援多租戶共用架構46。

  2. 超級電腦：全球500強超級電腦中超過半數採用InfiniBand互連17。

  3. 邊緣運算：整合至NVIDIA EGX平台，強化車載網路安全與運算效能4。

未來趨勢

• 隨著AI模型規模增長，InfiniBand的頻寬與網路智慧化將持續演進，例如NDR InfiniBand的PAM4 Serdes技術與動態路由優化，將支撐下一代Exascale超算需求46。

Citations:

• https://zh.wikipedia.org/zh-tw/InfiniBand

• https://www.ctimes.com.tw/DispArt/tw/PCI/乙太/光纖網路/無線通訊收發器/0211051137VT.shtml

• https://www.nextrongroup.com/zh-TW/news/web-news-product/100GqoP5iQ61Uz6Q

• https://www.ithome.com.tw/pr/141799

• https://www.nvidia.com/zh-tw/networking/

• https://www.nvidia.com/zh-tw/networking/products/infiniband/

• https://www.syscom.com.tw/ePaper_New_Content.aspx?id=903&EPID=298&TableName=sgEPArticle

• https://hackmd.io/@William-Mou/SywOmi7kD

• With help from Perplexity

---