在Llama 3 405B模型54天的预训练期间，总共发生了417次意外中断，训练过程挑战重重。 主要原因包括: 1、GPU故障: 148次 (30.1%) 2、GPU HBM3内存: 72次 (17.2%) 3、软件Bug: 54次 (12.9%) 4、网络交换机/线缆: 35次 (8.4%) 5、主机维护: 32次 (7.6%) 6、GPU SRAM内存: 19次 (4.5%) 7、GPU系统处理器: 17次 (4.1%) 8、NIC: 7次 (1.7%) 9、NCCL看门狗超时: 7次 (1.7%) 10、静默数据损坏: 6次 (1.4%) 11、GPU热接口+传感器: 6次 (1.4%) 训练大模型仍充满了各种工程上的挑战，向meta致敬。