AWS Machine Learning Blog· Siddharth Senger·· 3 小时前AI 评分34
在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏
Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
AI 导读
Amazon SageMaker HyperPod 通过在 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏（SDC）：非有限梯度检查捕获 NaN/Inf，环形重放审计逐位比对另一节点重算的 loss 与梯度指纹，权重指纹比对发现优化器更新后的副本差异。
来源：AWS Machine Learning Blog · aws.amazon.com