近期，AI芯片领域一颗璀璨的新星——Groq引发了业界广泛关注。其声称在性能上超越了GPU领域的霸主英伟达，这一声明引起了科技界的震动。3月2日，Groq再次成为焦点，宣布收购人工智能解决方案公司Definitive Intelligence，这是继2022年对高性能计算与人工智能基础设施解决方案提供商Maxeler Technologies的收购之后，Groq今年的第二次重大收购举措，显示了其来势汹汹的发展势头。
自ChatGPT爆火全球以来，英伟达凭借其GPU在市场上独领风骚，虽然涌现了不少竞争者，但Groq以其独特的技术创新和卓越性能表现脱颖而出，吸引了众人的眼球。Groq成立于2016年，由被誉为“TPU之父”的前谷歌工程师乔纳森·罗斯带领一众来自谷歌、亚马逊、苹果等科技巨头的资深团队共同创建。他们创新研发了一款名为LPU（语言处理单元）的推理引擎，正是这款LPU芯片助力Groq在AI市场异军突起，特别是在当前炙手可热的大规模语言模型（LLM）中展现出远超GPU的惊人推理速度，这不仅让人眼前一亮，更让业内惊叹不已。要知道，AI推理市场的巨大潜力已在2023年第四季度为英伟达带来了四成收入，因此，众多挑战者纷纷从推理环节寻找突破点。
那么，Groq是如何实现这一惊人的速度提升？又凭什么敢于叫板英伟达？它在芯片架构和技术路径上究竟有哪些独特之处呢？
近日，《半导体行业观察》有幸邀请到北京大学集成电路学院的长聘副教授孙广宇，就Groq LPU芯片背后的技术玄妙进行了深度解读。尽管网上关于Groq芯片价格及性能估算的讨论十分热烈，本文将更多聚焦于技术层面的解析，以期给读者带来新的启示。
Groq LPU芯片在Anyscale的LLMPerf排行榜上首次公开基准测试中即取得了令人瞩目的成就。搭载Groq LPU推理引擎运行Meta AI的Llama2 70B模型，在输出Tokens吞吐量方面实现了平均每秒185个tokens的速度，相较于其他基于云的推理提供商快了3至18倍；而在首个Token返回时间（TTFT）上，Groq则达到了仅需0.22秒的出色成绩。这一切都得益于Llama 2模型在FP16上的高效运算。
Groq LPU之所以能取得如此优异的表现，关键在于挖掘并利用深度学习应用处理过程中的“确定性”，通过简化硬件开销和降低处理延时来挑战传统架构。而Groq不同于英伟达CUDA软件生态系统的紧密耦合方式，而是选择了软硬件协同设计与优化的道路，充分挖掘“确定性”以实现系统层面的Strong Scaling。在内存带宽瓶颈这一重要问题上，Groq更是打破常规，舍弃了英伟达GPU所采用的HBM方案，转而采用纯SRAM架构，将数据全部存储在片上SRAM中。由于SRAM具有高带宽（单芯片可达80TB/s）的优势，极大地提升了LLM推理过程中受限于内存带宽部分的性能，例如Decode Stage计算和KV cache访存。然而，纯SRAM架构也面临容量限制的挑战，尤其是对于大型模型的应用场景。
孙教授分析指出，纯SRAM架构的优势主要体现在高带宽、低延迟以及为软件提供确定性调度基础三个方面。然而，随着模型尺寸的增长，如何解决因容量限制带来的并发处理能力受限等问题成为了纯SRAM架构面临的难题。同时，孙教授强调未来芯片发展应关注应用场景的变化，合理预判LLM技术发展趋势，并在软硬件设计上预留灵活性和通用性，确保技术的长期适用性。
总之，Groq以独特的芯片设计理念和技术创新，在大模型时代向传统的芯片架构发起挑战，并在国内已有一批如知存科技、后摩智能、灵汐科技等架构创新型芯片企业的崛起背景下，引领着新一轮芯片架构革命的浪潮。 Groq通过挖掘深度学习内在规律，探索新型存储方案，展示了在应对“存储墙”挑战中的前瞻性和创新能力，为AI芯片行业的未来发展开辟了新的道路。
