第 1 课：GPU 节点拓扑：NUMA、PCIe、NVLink 与 NIC 亲和性

本课目标与完成标准

本课产出：读取拓扑成本矩阵并为 GPU/NIC 配对，解释错误绑定如何限制多机通信和输入流水。

通过要求：唯一代码填空题通过给定检查；Q1～Q3 都给出因果链；能指出一个正确性边界和一个性能/运营取舍；总分至少 8/10。

与既有六条主线的边界

cuda/ 讲 SM/显存，runtime/ 讲 collective；本课关注节点物理连接、PCIe root、NUMA CPU 和 NIC 的放置。

前置：Linux/网络基础、runtime 补充线、train 分布式章节。本课只补 AI Infra 缺口，不重复已经完成的 kernel 或并行算法推导。

核心心智模型

1. 它是什么，解决什么问题

NUMA Node 0 (CPU 0)

Local RAM 0

GPU 0

GPU 1

RDMA NIC 0

PCIe Switch 0

NUMA Node 1 (CPU 1)

Local RAM 1

GPU 2

GPU 3

RDMA NIC 1

PCIe Switch 1

UPI / QPI 跨节点互联 (高时延低带宽)NVSwitch / 全互联 NVLink (超高带宽)

图 1-1：现代 8 卡 GPU 节点拓扑、NVLink 高速网与 NUMA/NIC 亲和性架构

在现代超大规模 AI 计算节点（如 NVIDIA DGX H100/H800、HGX A100）中，硬件并非单一平坦的总线架构，而是由多颗多核 CPU（形成多个独立的 NUMA Node）、多个 PCIe Switch / Root Complex、多张 RDMA 高速网卡（如 Mellanox ConnectX-6/7 200Gb/400Gb InfiniBand/RoCE）以及全互联的 NVSwitch 织网构成的复杂非对称非均匀互联拓扑（如图 1-1 所示）。

在平台工程实践中，由于错误的硬件亲和性绑定（Affinity Binding）带来的性能退化往往极为隐蔽：

1. 跨 NUMA UPI 穿透惩罚（Cross-NUMA Memory Penalty）：若运行在 CPU Socket 0 上的进程试图向插在 CPU Socket 1 的 GPU 或本地内存搬运数据，必须跨越 CPU 片间总线（如 Intel UPI 或 AMD Infinity Fabric）。这不仅使访问延迟翻倍（从本地 ~80ns 跃升至 ~160ns+），且总线带宽（通常仅数十 GB/s）严重受限，成为 DataLoader 批次分发与 Host 端控制流的严重瓶颈。

2. 跨 PCIe Root Complex 导致的 GPUDirect RDMA（GDR）降级：当 GPU 与 RDMA 网卡处于同一个 PCIe Switch 下时，网卡可以通过 PCIe P2P 事务直接读取 GPU 显存，跳过 Host 内存中转（延迟仅微秒级，独享 PCIe 线速）。若 GPU 与网卡跨越了不同的 PCIe Root Complex 甚至跨越 CPU Socket，通信事务将被迫穿透 CPU 总线，甚至触发 PCIe 访问控制安全限制（ACS），导致 GDR 失效并退化为缓慢的 CPU 辅助拷贝。

3. 多轨网络（Rail-Optimized Network）对齐失效：超算集群通常将 8 张网卡分别接入 8 个平行的网络平面（Rails）。若节点内部 GPU 与 NIC 映射混乱，跨机集合通信将产生灾难性的跨 Rail 流量交叉踩踏。

本课通过解析硬件拓扑矩阵并实现全局最优的 GPU-NIC 亲和性匹配算法，建立“GPU 插槽 $\rightarrow$ NUMA 绑核 $\rightarrow$ 本地 PCIe Switch $\rightarrow$ 近端 RDMA NIC”的标准化绑定流水线（如图 1-2 所示）。

2. 它如何工作

(1) 拓扑层级与互联距离成本矩阵（Topology Levels & Cost Matrix）

运行 nvidia-smi topo -m 命令可以输出节点内所有 GPU、网卡及 CPU 间的相对距离矩阵。在拓扑模型中，连接开销自低向高划分为不同层级：

• NV#（NVLink 互联）：GPU 之间通过基板（Baseboard）上的 NVSwitch 芯片（或 GPU 间直连 NVLink）实现双向几百 GB/s 到上千 GB/s 的超高带宽互联，通信成本最低（Cost = 1）；
• PIX（PCIe Switch 内直连）：GPU 与 NIC 挂载在同一个外部 PCIe Switch 芯片下，数据流直接在 Switch 芯片内部线速交换，无需经过 CPU Host Bridge，完美支持 GPUDirect RDMA（Cost = 1）；
• PXB（跨多个 PCIe Switch）：数据流穿过多级 PCIe 交换芯片，但不穿透 CPU Host Bridge；
• PHB（跨 PCIe Host Bridge）：数据流必须穿过同一个 CPU 内部的 PCIe Host Bridge，存在 CPU 内部仲裁与总线竞争（Cost = 2～3）；
• NODE（同 NUMA 内跨 Host Bridge）：数据流在同一个 NUMA 节点内穿过多个 PCIe Host Bridge 之间的互联，不跨 CPU Socket（Cost = 4）；
• SYS（跨 Socket 互联）：数据流必须穿过 CPU 间的片间互联链路（UPI / QPI 或 AMD Infinity Fabric），延迟最高且容易拥塞（Cost = 5）。

(2) 硬件亲和性探测与规避策略流程

如图 1-2 所示，容器平台（Kubernetes Topology Manager 或 Slurm）调度 AI 训练任务的黄金决策流程如下：

调度器绑定 Pod 进程

检测目标 GPU 物理插槽位置

使用 numactl 绑定对应的同侧 NUMA CPU 核心

绑定挂载在同侧 PCIe Switch 的近端 RDMA NIC

消除跨 NUMA UPI 内存穿透，获得最低端到端延迟与满血带宽

图 1-2：硬件亲和性探测与跨 NUMA/PCIe 访问惩罚规避策略流程

1. 插槽定位：根据调度分配的物理 GPU 设备号（如 GPU 0），查询 /sys/class/pci_bus/ 确定其物理 PCI Bus ID 及其所属的本地 NUMA Node（如 NUMA 0）；

2. NUMA 绑核：使用 numactl --cpunodebind=0 --membind=0 将模型训练主进程及 DataLoader worker 绑定至 NUMA 0 对应的物理 CPU 核心与本地 RAM，确保所有内存页面分配零跨 UPI 穿透；

3. 近端 NIC 映射：探测同处于该 PCIe Switch 下的最邻近 RDMA 网卡（如 mlx5_0），配置环境变量（如 export UCX_NET_DEVICES=mlx5_0:1、export NCCL_NET_GDR_LEVEL=PXB），只在 GPU 与 NIC 位于同一 PCIe Switch 层级（PIX/PXB）时启用 GDR，确保网卡直接通过 PCIe P2P 读取 GPU 显存。注意 NCCL_NET_GDR_LEVEL=5（即 SYS）是最宽松的设置，会允许跨 Socket 使用 GDR；

4. 全局二分图匹配：当节点包含多个 GPU 和多个 NIC 时，将配对问题建模为二分图最小权匹配（Bipartite Matching），通过穷举或匈牙利算法求得系统级总成本最低的全局一一映射方案。

3. 正确性条件与常见误区

• 误区一：误将环境变量逻辑编号等同于物理邻近
  在容器或多租户环境中，设置 CUDA_VISIBLE_DEVICES=0,1 仅仅是 CUDA 驱动对可用设备的一层逻辑重映射（Logical Indexing）。宿主机底层可能分配了插在 CPU 0 上的物理卡 0 与插在 CPU 1 上的物理卡 7。若仅凭逻辑编号盲目认为卡 0 与卡 1 共享同一个 NVLink 岛或同一个 PCIe 根复合体，会导致极差的跨机通信性能。必须以物理 PCI 总线地址（如 0000:41:00.0）及底层拓扑为准。

• 误区二：盲目贪心选择“每个 GPU 绑定其距离最近的 NIC”
  若多个 GPU（例如 GPU 0 与 GPU 1）物理上均与 NIC 0 最近，独立贪心选择会导致两张 GPU 同时挤占 NIC 0，造成网卡带宽瞬间饱和并形成严重排队气泡，而 NIC 1 则完全空置。必须以整机为单位求解一一双射（Bijective Assignment）的全局最优解。

• 误区三：忽略 PCIe 访问控制服务（ACS）导致的 GDR 静默失效
  许多服务器默认在 PCIe Switch 的下游端口上开启 ACS（Access Control Services）的 P2P Request Redirect。出于虚拟化隔离考虑，它会把同一 Switch 下设备间的 P2P 流量重定向到 Root Complex 检查，P2P 带宽和延迟大幅变差，甚至失败。裸金属训练节点应在 BIOS 中关闭，或用 setpci 清除 Switch 下游端口 ACS 控制寄存器中的 P2P Redirect 位。注意 pcie_acs_override 是用于调整 IOMMU 分组（方便 VFIO 直通）的内核补丁参数，并不能开启 P2P。

4. 性能与工程取舍

• 严格绑核 vs. NUMA 孤岛内存不足的折中：
  通过 numactl --membind 强制将内存限制在单 NUMA 节点能够杜绝跨节点内存访问，但若任务的数据预处理或本地缓存（Page Cache）超过了单 NUMA 节点的物理 RAM 上限，将直接触发 Linux OOM Killer。工程妥协策略是：CPU 计算核心严格绑定本地核心（--cpunodebind），而在内存分配上采用本地优先但允许外溢的策略（--preferred）。

• 静态亲和性锁定与集群调度碎片化：
  在 Kubernetes 集群层面，若采用极端严格的拓扑亲和性调度策略（Topology-Aware Scheduling），要求每个 Pod 必须分配到同 NUMA 的完整 GPU-NIC 组合，会导致严重的集群碎片率（集群可能剩余大量空闲卡，但因分布在非对齐插槽而无法调度新任务）。平台工程中通常以“整机 8 卡”或“单 NUMA 4 卡”为最小原子调度规格。

具体演示

设节点包含两张 GPU 与两张 NIC，其硬件物理通信成本矩阵如下： cost = [[1, 5], [4, 1]]（行代表 GPU，列代表 NIC）：

• 若采取配对方案 (GPU 0 → NIC 0, GPU 1 → NIC 1)：总成本为 $1 + 1 = 2$；
• 若采取交叉配对方案 (GPU 0 → NIC 1, GPU 1 → NIC 0)：总成本为 $5 + 4 = 9$。

显然方案一的总成本显著低于方案二，能有效避免跨 Root Complex 与跨 Socket 互联的带宽挤占。

请先独立复述“输入 → 状态变化 → 输出/指标”，再开始填空。

实践任务：唯一代码填空题

补齐最小总成本的一一 GPU-NIC 配对；教学规模使用全排列。

只能修改 TODO/______ 位置，不得删除断言或放宽通过条件。

from itertools import permutations

def best_gpu_nic_pairing(cost):
    n = len(cost)
    if n == 0 or any(len(row) != n for row in cost):
        raise ValueError("cost matrix must be non-empty and square")
    best = None
    for nic_perm in permutations(range(n)):
        # TODO：GPU g 分配到 nic_perm[g]。
        total = ______
        candidate = (total, nic_perm)
        if best is None or candidate < best:
            best = candidate
    return best

assert best_gpu_nic_pairing([[1, 5], [4, 1]]) == (2, (0, 1))

检查方法

运行本单元格，所有断言必须通过；再补一个边界输入并解释预期。

Q1

为什么 CUDA_VISIBLE_DEVICES=0,1 不能证明两个 rank 在同一 NVLink island？

你的答案：

Q2

GPU 与 NIC 不在同一 PCIe root complex，GPUDirect RDMA 可能受到什么影响？

你的答案：

Q3

为什么“每 GPU 绑定最近 NIC”仍可能不是全局最优？

你的答案：

评分规则

• 代码 4 分：正常输入 2 分、边界输入 1 分、解释 1 分；
• Q1～Q3 各 2 分；
• 一票否决：混淆测量与推测、忽略租户/请求隔离、用平均值掩盖尾延迟、删除失败路径。

Tip💡 点击展开参考答案与详细代码实现

参考答案（仅 answer 分支）

先独立完成。核对后请改变一个规模或故障条件重新推演。

from itertools import permutations

def best_gpu_nic_pairing(cost):
    n = len(cost)
    if n == 0 or any(len(row) != n for row in cost):
        raise ValueError("cost matrix must be non-empty and square")
    best = None
    for nic_perm in permutations(range(n)):
        total = sum(cost[g][nic_perm[g]] for g in range(n))
        candidate = (total, nic_perm)
        if best is None or candidate < best:
            best = candidate
    return best

assert best_gpu_nic_pairing([[1, 5], [4, 1]]) == (2, (0, 1))

Q1 参考答案

在现代深度学习容器与平台管理体系中，CUDA_VISIBLE_DEVICES=0,1 仅代表 CUDA Runtime 暴露给当前进程或容器的用户态逻辑编号重映射（Logical Index Mapping），绝不能作为物理邻近或处于同一 NVLink 岛的证据，其背后的物理机制如下：

1. 容器设备过滤与逻辑映射：宿主机操作系统中可能存在 8 张物理 GPU（物理编号 0～7）。若容器编排器（如 K8s Device Plugin）将物理 GPU 0（挂载在 NUMA 0 侧）与物理 GPU 7（挂载在 NUMA 1 侧）透传分配给同一个容器，容器内部看到的虚拟设备列表将被自然重置映射为逻辑编号 0 和 1；

2. NVLink 物理拓扑边界：在非全互联架构或分岛设计的超算服务器中，NVLink 仅覆盖同一个 NVSwitch 托盘或局部 GPU 组（如每 4 卡构成一个独立 NVLink 岛，岛间仅由 PCIe 或 UPI 连接）。两张逻辑相邻的卡在物理上完全可能跨越了不同的 NVLink 岛；

3. 真实拓扑验证途径：必须通过读取设备底层物理 PCI Bus ID（如通过 cudaDeviceGetPCIBusId），并在底层执行 nvidia-smi topo -m 或调用 cudaDeviceCanAccessPeer 查询 P2P 互联状态，确认互联矩阵中显式标注为 NV# 且链路实际带宽达标。

Q2 参考答案

GPU 与 NIC 分属不同 Root Complex 时：跨 Root Complex 后 TLP 需经 Host Bridge/UPI，带宽受限；ACS 可能把 P2P 重定向到 CPU；NCCL 检测到后关闭 GDR，退化为 D2H+Host 中转，延迟升一个数量级。

Q3 参考答案

在分布式与单机多卡网络架构中，若让“每个 GPU 独立贪心选择物理距离最近的 NIC”，通常无法达到系统级全局最优，甚至会诱发严重的网络灾难，原因如下：

1. 局部贪心引发网卡单点拥塞（Oversubscription & Hotspot）：在典型的 8 卡服务器拓扑中，可能物理设计使得 GPU 0 与 GPU 1 到 NIC 0 的链路开销均为 1（同 PCIe Switch），而它们到 NIC 1 的开销为 2。若每个 GPU 独立做贪心选择，GPU 0 和 GPU 1 都会将自己的网络通信全部压给 NIC 0，导致 NIC 0 发生严重的带宽拥塞与队列堆积，而 NIC 1 则处于完全闲置状态。系统整体对外通信总带宽被直接砍半；

2. 摧毁多轨网络（Rail-Optimized Network）对齐结构：现代超算集群采用多轨网络架构，集群中所有节点的 GPU $k$ 都被规划接入同一个独立的交换机网络平面（Rail $k$）。如果节点内部的 GPU-NIC 配对未遵循严格的一一双射和集群统一对齐，而是由各节点局部贪心绑定，会导致跨节点集合通信（如 All-to-All）时，数据流必须在 Spine 核心交换机上发生大面积跨 Rail 交叉穿透，引发集群级无损网络 PFC 死锁与网络拥塞崩溃；

3. 全局二分图最优权匹配：必须将整机的 GPU-NIC 配对作为一个二分图匹配问题，在满足每个网卡被唯一绑定的强约束下，求解使整机总传输开销最小的全局最优排列。

参考资料

• GPUDirect RDMA
• Kubernetes Topology Manager
• NCCL User Guide

API 与平台能力会演进；部署前应按目标版本重新核对。

← 上一课
第 11 课：端侧混合精度部署 下一课 →
第 2 课：InfiniBand、RoCE、…