多卡训练选型时，显存不足与带宽瓶颈该如何提前排查？

多卡并不自动解决显存不足，也不保证训练更快。做多卡并行训练硬件选型前，应先用目标模型、输入尺寸和训练方式测出资源需求，再核对卡间通信路径；否则增加设备后，可能只是把瓶颈从显存转移到带宽。

先算清显存：峰值比标称容量更重要

训练显存通常由模型参数、梯度、优化器状态、激活值和临时工作区共同占用。具体比例取决于模型结构、精度、批量大小和优化器，不能仅凭参数量推断。尤其是长序列模型，激活值可能随序列长度和批量增加而显著上升。

1. 固定实际训练配置：模型版本、输入尺寸、每卡批量、精度模式和优化器都要与计划一致。
2. 在单卡上跑完整前向与反向，并记录显存峰值，而非只观察空闲状态或刚载入模型时的占用。PyTorch 可用 torch.cuda.max_memory_allocated() 查看已分配显存峰值。
3. 改变每卡批量和序列长度分别复测，留出显存余量给临时张量、数据增强及运行波动。若峰值已贴近卡的物理容量，先考虑降低批量、混合精度或梯度检查点，再决定是否需要更大显存的卡。

数据并行通常会在各卡上保留模型副本，增加卡数不等于把所有显存合并成一池。若单卡放不下模型，可评估分片策略；它能减少单卡存储压力，但会引入额外通信和配置复杂度。

再查带宽：区分卡内、卡间与主机链路

显存带宽影响卡上数据读写，卡间互联则影响梯度同步或分片交换，主机到加速卡的数据链路还可能限制输入吞吐。三者不是同一个指标。多卡并行训练硬件选型时，要确认主板插槽实际通道数、卡间连接方式，以及网卡和加速卡是否共享受限的上行链路。

用短压测定位慢在哪里

1. 先记录单卡每步耗时、显存峰值和数据加载时间，再用相同配置扩到两卡、四卡。观察吞吐是否随卡数增加；若增幅很小，继续看通信和输入管线。
2. 用框架分析器或系统级性能分析工具检查时间线：计算间隙可能指向数据供给不足，通信操作长时间排队则提示卡间带宽、拓扑或同步等待问题。
3. 分别提高数据加载线程、预取深度和存储读取能力做对照测试。若等待明显减少，瓶颈更可能在主机或存储，不应直接换更高带宽加速卡。
4. 多机训练时核对网卡链路速率、交换机端口与实际拓扑。25、100Gb/s 等标称速率是链路能力，不等同于应用有效吞吐；协议开销、拥塞和跨交换机路径都会影响结果。

按瓶颈选型，别只比较峰值参数

现象	优先处理	选型关注点
单卡运行即显存溢出	减少单卡批量，测试混合精度或分片	显存容量及分片通信代价
显存充足但多卡加速有限	检查同步等待和卡间拓扑	卡间带宽、连接方式与扩展效率
加速卡经常等待输入	测量数据加载、存储读取和主机占用	主机内存、网卡及数据通路

最终决策应以目标任务的端到端吞吐和稳定性为准。多卡并行训练硬件选型可以先租用或借用同类配置做小规模验证，再核对长时间运行中的显存峰值、每步耗时和扩卡收益；理论带宽不能替代真实工作负载测试。

常见问题

显存利用率高，就一定会溢出吗？

不一定，但余量越小，临时分配或输入变化越容易触发溢出。应看训练峰值和多次运行波动。

多卡后吞吐没有翻倍，是否说明硬件不够？

不一定。小批量任务的通信开销占比可能较高，也可能受数据加载或同步等待影响，先用时间线定位。

该先升级网络还是加速卡？

单机训练先查卡间互联与主板拓扑；多机训练再依据通信耗时和链路测试判断是否需要升级网络。