AWS 发布 HyperPod 静默数据损坏检测教程

AWS 在机器学习博客中发布一套在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏（SDC）的方法：在 PyTorch DDP 训练循环中加入三项检查——非有限梯度检查捕获 NaN/Inf，环形重放审计逐位比对另一节点重算的 loss 与梯度指纹，权重指纹比对发现优化器更新后的副本差异。 该方法要求集群由 Amazon EKS 编排且至少有 3 个 GPU 节点：环形审计每次比对需三个不同节点，权重比对需三份权重副本才能找出异常者。AWS 称生产环境可从每 100 步做一次确定性审计起步，此设置下开销为 10%。替换节点会销毁其根卷和辅助卷，包括本地 NVMe 上的数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。