【新智元报道】
    ：桃子 好困
    【导语】随着大模型的推理和训练日益复杂化，全球科技巨头如英伟达、AMD、英特尔、谷歌、微软、Meta、Arm、高通、MatX以及Lemurian Labs等纷纷投入到全新的硬件解决方案研发之中，以应对这一挑战。量化技术在加速神经网络性能上发挥了关键作用，从32位逐步精简至8位，通过较低精度数字格式成功突破了数十亿参数模型的内存瓶颈。
    Semianalysis近期发表的文章深度剖析了神经网络量化的现状，文章丰富详尽，涵盖了浮点与整数原理、电路设计注意事项、块浮点、MSFP、微缩格式、对数系统等关键技术，并特别讨论了量化与推理中数字格式的区别，以及高低精度训练方法。同时，面对量化带来的精度损失问题，展望了未来模型发展的可能方向。
    各硬件开发商正在积极探索如何扩展当前流行的8位格式（如FP8和Int8），其中就包括英伟达、AMD、英特尔等企业所采用的技术。矩阵乘法作为现代机器学习模型的核心计算单元，在GPT-3这样的大型语言模型中，每层涉及大规模矩阵运算，单个元素的计算就需要高达12288次乘法及加法操作。芯片上的融合乘加（FMA）单元通过并行处理，极大地提高了运算效率。
    数字格式的设计目标主要分为两点：一是实现卓越的能源和面积效率，这主要取决于权重和激活所使用的数字格式；二是既要精确存储海量权重，又要尽可能减少位数占用，以节省内存容量和带宽，这就依赖于存储权重的数字格式。
    针对芯片效率目标，文章深入探讨了各种基本数字格式，包括无符号整数、负整数、定点数以及浮点数。浮点数凭借其科学记数法的优势，有效解决了表示大动态范围的问题，而整数格式在低精度场景下更具成本效益。然而，当追求更高准确度时，浮点格式因其能更好地匹配神经网络中的数值分布而受到青睐。
    为了进一步提升准确性，业界提出了诸如对数系统、区块数字格式等多种创新方案。例如，NVIDIA在HotChips大会上提出的对数系统虽然能降低四舍五入误差，但存在加法器成本过高的问题。此外，像PAL等新兴格式也声称能在保持较低硬件成本的同时，提供超越FP16和BF16的精度和范围表现。
    推理阶段尤为注重成本和功耗优化，因此往往倾向于使用更经济、更紧凑的数值格式。市面上涌现多种工具可进行模型格式转换，既有无需重新训练的训练后量化技术，也有通过量化感知训练来适应新精度的方法。而在训练过程中，由于涉及到复杂的反向传播，对精度的要求更为苛刻，尤其是在权重更新环节。
    各大硬件厂商紧随黄氏定律的步伐，积极投入研发，寻求更低比特数、更高准确率与更好能效比的解决方案。Lemurian Labs和MatX等初创公司专注于独特数字格式的研发，而英伟达、AMD、英特尔、微软、Meta、Arm和高通则共同聚焦于Microscaling格式的应用。值得注意的是，尽管有统一标准的存在，但每个供应商仍需根据具体需求调整各种格式参数，以实现最大程度的优化。
    总的来说，这场围绕神经网络量化技术的竞赛不仅关乎比特数的削减，更是关于挖掘硬件内部深层次复杂性的探索之旅，而各大厂商的前沿努力正为未来的AI硬件发展绘制出一幅激动人心的蓝图。