在财报发布前夕，英伟达遭遇了意想不到的强劲对手——Groq公司。这家成立于2016年的AI技术先锋，在业界掀起了一场风暴，其杀手锏在于“速度”。在传统的生成式AI领域中，用户往往需要忍受漫长的等待时间以获取完整答案，但Groq凭借其云服务平台革新了这一现状，实现一秒一屏的惊人响应速度。当模型接收到提示后，几乎能瞬间生成数百个单词组成的、具有真实可信度和引用信息的答案。
    近日，电子邮件初创企业Otherside AI的首席执行官马特·舒默亲身体验了Groq的强大效能，对其赞誉有加，称其能在不到一秒内生成高质量的事实性、引用性，搜索与生成的时间分配比例更是令人惊讶，其中搜索信息耗时仅占3/4秒，而生成答案的时间仅为几十分之一秒。
    Groq此次爆发性的亮相源于其云服务的上线，让用户得以体验到流畅无比的人工智能应用。众多开发者惊叹于Groq带来的变革，将其称为追求低延迟产品的“游戏规则颠覆者”。更有专家预测，Groq的LPU技术在未来有望对GPU在人工智能领域的地位产生革命性冲击，并可能成为英伟达A100和H100芯片高性能硬件的理想替代品。
    Groq的秘密武器是其自主研发的加速马达——LPU技术。根据公开基准测试结果，搭载Llama2或Mistreal模型的Groq云服务在计算及响应速度上全面超越ChatGPT-3.5，每秒可生成高达500个token，远超ChatGPT的40个token/s。Groq创新地使用专用ASIC芯片定制大语言模型LLM，实现了前所未有的性能飞跃。
    Groq声称已研发出全球首款语言处理单元（LPU），打破了依赖稀缺昂贵图形处理单元（GPU）运行AI模型的传统。投资人k_zeroS透露，Groq LPU采用了SRAM存储器，其速度比GPU所用存储器快约20倍，且无需依赖高速数据传输。由于推理计算所需的内存访问量相对较小，LPU在节能方面表现突出，执行任务时对外部内存的读取减少，电力消耗也低于Nvidia GPU。
    LPU采用独特的时序指令集计算机架构，规避了GPU频繁从内存加载数据的需求，有效解决了HBM短缺问题并降低成本。若在AI场景中部署Groq LPU，则有可能不再需要为Nvidia GPU配置特殊存储解决方案，因为LPU对存储速度的要求并不苛刻，Groq通过其强大的芯片和软件技术，有望在诸多AI任务中取代GPU的角色。
    Groq虽低调行事，但团队实力不容小觑。CEO乔纳森·罗斯被誉为“TPU之父”，曾效力于谷歌；联合创始人道格拉斯·怀特曼同样来自谷歌TPU团队，且有着丰富的创业经历；CTO吉姆·米勒曾任亚马逊AWS云计算硬件设计负责人，CMO则主导过苹果Macintosh的市场发布。这个仅有180余人的精干团队驻扎在加州山景城，他们志在复制谷歌内部芯片项目的成功经验，引领行业进入新的技术纪元。
    面对估值高达4700亿美元的激烈芯片市场竞争，以及众多创新型初创企业的挑战，Groq决心以其高效能、低能耗、可预测性能的芯片吸引大型数据中心运营商，并在对电力要求严苛的自动驾驶汽车等领域发挥关键作用。CEO罗斯明确表示，Groq无意被收购，而是希望通过向少数关键客户输送Groq芯片，获得稳定的收入来源，推动公司的独立发展。目前，Groq已开始向潜在客户发送样品，并坚信少量的关键合作就如同精准狩猎，足以支撑公司在起步阶段的成长与发展。