3月13日，全球社交与科技巨擘Meta在其官网上震撼披露了两个全新的24K H100 GPU集群，共计装备49,152个GPU单元，专为训练新一代大模型Llama-3提供强大动力。这一壮举标志着Meta在人工智能领域的研发投入和实力已达到新的高度。
Llama-3采用RoCEv2网络架构，并结合Tectonic/Hammerspace的NFS/FUSE网络存储解决方案，继续沿用PyTorch机器学习库进行高效训练。据推测，这款模型最快将于四月末或五月中旬上线，受Sora影响，它很可能成为一个具备多模态处理能力的开源模型。
着眼未来，Meta透露到2024年底将拥有高达600,000个H100 GPU的惊人算力规模，这无疑为构建具有通用人工智能（AGI）潜力的系统铺平了道路。
此外，新集群采用了内部设计的开放性GPU硬件平台——Grand Teton，该平台集电源、控制、计算及结构接口于一体，旨在优化整体性能、信号完整性和散热效能，从而实现快速部署并便于维护和扩展。
Meta对于集群网络设计尤为重视，分别采用融合以太网远程直接内存访问(RoCE)方案以及基于NVIDIA Quantum2 InfiniBand技术的高速互连体系，使得数千个GPU能够同步进行大规模训练而无任何网络瓶颈。在数据存储方面，Meta联手Hammerspace开发并部署了高性能并行网络文件系统(NFS)，满足AI集群对大量图像、视频、音频和文本数据的高速读写需求。同时，通过自创用户空间Linux文件系统API，确保数据加载灵活且高吞吐量。
总之，Meta此次公布的全新GPU集群及其配套基础设施不仅彰显了其在AI技术研发上的领先地位，更预示着一个AI算力爆发的新纪元即将来临。
