在英伟达财报公布前夕，一场围绕AI芯片的热议在社交媒体上悄然展开。一家名为Groq的初创公司高调宣布其研发的LPU（语言处理器）在推理性能上实现了惊人突破，声称相较于英伟达GPU，LPU的性能提升了10倍，而成本和能耗仅为后者的十分之一。
2月19日，Groq向公众开放了产品体验入口，其LPU并非针对大模型训练，而是专注于加速开源大模型的推理过程。测试数据显示，Groq LPU每秒可处理高达270个Token，远超GPU的表现，在ArtificialAnalysis.ai的评测中成绩尤为突出。
Groq的秘密武器在于采用TSP（张量流处理）架构，这一创新设计犹如工厂流水线，能有效提升计算密度并消除内存带宽瓶颈。此外，Groq还打破常规，选用SRAM作为存储解决方案，以实现更低延迟和更高带宽，从而成就了一个“推理效率怪兽”。
然而，从实验室数据到实际应用还有很长一段路要走。尽管Groq CEO Jonathan Ross宣称在大模型推理场景下，Groq LPU的速度优势明显，但前阿里巴巴技术副总裁贾扬清通过成本核算提出质疑：由于LPU内存较小，若要运行诸如LLaMA2-70b这样的大型模型，可能需要大量LPU卡，导致总成本飙升至千万美元级别，与使用英伟达GPU的成本相比并不具备显著优势。另一方面，Groq LPU能否适应未来AI应用发展的快速步伐也尚存疑问。随着OpenAI发布的Sora等新型AI视频生成平台对计算单元提出了新的要求，LPU是否能够应对Patch这一更小计算单元的高效处理仍有待验证。
对于Groq而言，挑战英伟达的关键在于其选择了一条专攻推理芯片的路径，这与英伟达GPGPU兼顾训练与推理的通用方案形成对比。尽管Groq LPU在特定应用场景下表现抢眼，但在拥有深厚开发者生态、持续强化推理能力的英伟达面前，Groq要想成功分羹市场蛋糕，还需等待大规模量产后的市场反馈。据悉，Groq已与三星电子达成合作，预计于2024年下半年开始生产首批4nm制程的LPU芯片，并计划在未来部署百万台规模的产品。
