RoCE 技術深度解析：InfiniBand over Ethernet 如何實現微秒級低延遲與 AI 叢集高效能運算
AI 叢集對網路的要求已超越傳統 TCP/IP 的極限。RoCE（RDMA over Converged Ethernet）將 InfiniBand 的核心優勢移植至標準乙太網路，以微秒級延遲驅動現代 HPC 與 GPU 叢集。
什麼是 RoCE？核心架構解析
RoCE 讓應用程式透過 RDMA（Remote Direct Memory Access）直接存取遠端主機記憶體，完全繞過 CPU 與作業系統核心。傳統 TCP/IP 每次傳輸都需核心介入，延遲高達數十毫秒；RoCE 將此壓縮至 1–3 微秒。協議分兩版：RoCEv1 運行於 Layer 2（需同廣播域）；RoCEv2 封裝於 UDP/IP 之上，支援跨子網路路由，已成業界主流。現代 AI 叢集（如 NVIDIA DGX）普遍採用 RoCEv2 搭配 400GbE 網卡，實現 GPU 間的零拷貝資料交換。
RoCE vs. InfiniBand：取捨與部署策略
原生 InfiniBand 提供最低延遲（<1 µs）與原生無損傳輸，但需專用交換器與線材，建置成本極高。RoCE 則運行於標準乙太網路硬體之上，成本可降低 40–60%。然而乙太網路預設有封包遺失，RoCE 強依賴 PFC（Priority Flow Control）與 ECN（Explicit Congestion Notification）實現無損傳輸；交換器必須正確配置 QoS，否則 RDMA 佇列對（QP）將因丟包觸發重傳，延遲驟升。對多數 AI 訓練場景，RoCEv2 的效能已足夠，且可複用現有乙太網路基礎設施。
# 驗證 RoCE 裝置與測試頻寬（ibverbs 工具）
ibv_devinfo # 列出 RDMA 裝置及 RoCE 版本
ib_send_bw -d mlx5_0 -i 1 --report_gbits # Server 端
ib_send_bw -d mlx5_0 -i 1 --report_gbits <server_ip> # Client 端💡 重點整理
- 零拷貝傳輸：RDMA 直接讀寫遠端記憶體，CPU 佔用率趨近於零。
- RoCEv2 是主流：UDP/IP 封裝支援路由，相容現有網路架構。
- 無損網路是前提：必須在交換器啟用 PFC + ECN，否則效能大幅下滑。
- 成本優勢顯著：乙太網路硬體生態成熟，較 InfiniBand 節省大量建置費用。
RoCE 已成為 AI 叢集網路的務實首選。正確配置無損乙太網路，即可在標準硬體上逼近 InfiniBand 的效能天花板，以合理成本支撐大規模 GPU 訓練工作負載。
📚 參考文獻
- NVIDIA Mellanox — RDMA over Converged Ethernet (RoCE) 官方文件：涵蓋 RoCEv1/v2 架構、PFC/ECN 配置與效能調校指南。
- IBTA（InfiniBand Trade Association）—