近日，在炽热的AI市场竞争中，创新AI芯片公司Cerebras Systems震撼发布了其第三代晶圆级AI芯片——WSE-3，性能较上一代WSE-2实现了翻倍提升，旨在驾驭业内最大规模的人工智能模型训练任务。
WSE-3芯片以台积电5nm先进制程打造，采用整片12英寸晶圆一体成型，面积高达46225平方毫米，集成惊人的4万亿个晶体管和90万个AI核心，配备44GB片上SRAM内存，整体内存带宽飙升至前所未有的21PB/s，结构带宽更是突破天际达到214PB/s。由此产生的峰值性能为125 FP16 PetaFLOPS，与前代产品WSE-2相比，性能翻了一番。
对比英伟达H100芯片，WSE-3在面积上是其57倍，内核数量为其52倍，片上内存容量则是H100的880倍，内存带宽超出7000倍，而结构带宽则碾压性地提升了3715倍，这一颠覆性的技术飞跃无疑让业界瞩目。
与此同时，Cerebras推出了基于WSE-3的CS-3超级计算机系统，专为训练参数量高达24万亿的人工智能模型设计，相较于基于WSE-2和其他现代AI处理器的超级计算机，实现了一场革命性的跃进。该超级计算机支持1.5TB至1.2PB的外部内存配置，可在单个逻辑空间存储庞大规模模型，无需分区或重构，简化训练流程并极大提高开发人员的工作效率。
最新版本的Cerebras软件框架全面兼容PyTorch 2.0，并对多模态模型、视觉转换器、专家混合及扩散等前沿AI技术和模型提供原生支持。尤为引人注目的是，Cerebras平台仍为唯一能提供动态非结构化稀疏性硬件加速的平台，训练速度比英伟达DGX-100计算机系统快了8倍。
此外，CS-3在电源效率和易用性方面也展现了卓越表现。尽管性能翻倍，但CS-3保持了与前代产品相同的功耗水平，且大幅度简化大型语言模型（LLM）训练过程，相较于GPU，所需代码量锐减97%，如GPT-3大小的模型仅需565行代码即可在Cerebras平台上完成训练。在可扩展性方面，CS-3系统能够无缝扩展至多达2048个节点集群，展现出强大的集群训练能力。例如，在四节点配置下，CS-3可在一天内微调700亿参数模型，并同时从零开始全面训练Llama 70B模型。
目前，Cerebras已收到众多行业巨头、政府机构以及公有云厂商的大量订单，其中包括与美国阿贡国家实验室、梅奥诊所的合作项目，突显了CS-3在医疗健康领域的巨大潜力。不仅如此，Cerebras与G42集团的战略合作随着Condor Galaxy 3人工智能超级计算机项目的推进将进一步深化。这款由64个CS-3系统构建而成的超算拥有总计5760万个核心，双方此前已携手打造出全球最强的两台AI超算CG-1和CG-2，综合算力达到了8 exaFLOP。他们的目标是向全球提供数十个exaFLOP级别的AI计算能力。
G42集团首席技术官Kiril Evtimov对此表示：“我们与Cerebras的战略伙伴关系正在驱动G42的创新步伐，并在全球范围内有力推动人工智能革命进程。”他进一步透露，目前正在建设中的Condor Galaxy 3超级计算机具备8 exaFLOP的强大算力，一旦上线运行，将使G42系统的AI计算总产能跃升至16 exaflops。
综上所述，Cerebras Systems凭借WSE-3芯片及其搭载的CS-3超级计算机，不仅刷新了AI计算性能的天花板，更为全球范围内的科研与产业创新带来了空前强大的驱动力。
