近日消息，Meta 發布的一份研究報告顯示，其用于訓練 4050 億參數模型 Llama 3 的 16384 個英偉達 H100 顯卡集群在 54 天內出現了 419 次意外故障，平均每三小時就有一次。其中，一半以上的故障是由顯卡或其搭載的高帶寬內存（HBM3）引起的。