先看结论:扩容的收益被三项约束稀释

训练集群扩容时,纸面算力按卡数线性增长,但有效算力的增长往往低于预期。原因通常不在芯片本身,而在互联拓扑、机房供电和故障恢复机制三项约束。看球网在整理训练集群类公开参数时,会把这三项单列,因为它们是扩容决策中最容易被低估的部分。

先算清这三项,再决定扩容规模,比先买卡再想办法更稳妥。看球网建议读者把扩容当作一次系统性评估,而不是一次采购动作。

互联拓扑:集群越大,网络越像第二算力

训练任务的并行策略决定了通信比例。数据并行需要频繁同步梯度,张量并行和流水线并行对带宽和延迟的要求更高。集群规模扩大后,节点间网络带宽、拓扑设计和拥塞控制会直接影响有效算力。

  • 带宽匹配:节点间网络带宽要与卡间互联能力匹配,避免出现明显短板。
  • 拓扑设计:不同拓扑对集合通信效率的影响不同,需要结合并行策略评估。
  • 拥塞控制:大规模集群中网络抖动会被放大,无损网络相关能力值得关注。

看球网提醒读者,公开参数中的互联带宽通常对应理想条件,实际效率还受拓扑和任务模式影响。无法核验的实测数据应标注为示例数据。

供电与散热:扩容密度的硬边界

单机柜功率密度是扩容密度的硬边界。高功率密度部署对配电容量、冗余方式和散热形式提出更高要求,液冷方案的引入还会带来改造周期和运维流程变化。看球网在栏目里会把单机柜可交付功率和散热形式作为独立维度记录,方便读者评估扩容后的机房适配成本。

读者「周牧云」在社区分享过,他们按看球网的口径核算后,发现原计划的机柜密度超出供电余量,最终调整了部署密度而不是强行扩容。这类判断需要提前做,否则会在施工阶段付出更高代价。

故障恢复:长任务不能假设一切顺利

训练任务运行时间长,节点故障、网络抖动和存储慢盘都可能导致检查点回滚。故障域划分、检查点频率和存储写入带宽,决定了扩容后集群的实际可用性。看球网建议读者把故障恢复相关参数与算力参数放在同等位置评估。

扩容后故障概率随节点数上升,恢复机制的重要性也随之上升。看球网会继续按统一维度整理训练集群类公开信息,读者可在安卓、苹果 iOS、Windows 电脑版和 Mac 电脑版客户端上对照查看。把互联、供电与故障恢复三件事想清楚,扩容决策才有可靠基础。