神经形态计算，这一类脑计算领域的新兴力量，正在以其独特的脉冲神经网络（Spiking Neural Network, SNN）在神经形态芯片上构建起一场低功耗智能革命。它不仅是算法驱动硬件设计的新范式，更是有望取代传统AI的潜力股，凭借其显著的节能优势。
要全面理解神经形态计算，必须从系统层面着眼，兼顾算法与硬件的相互融合。其中，“类脑”特性表现为脉冲神经元能够模拟生物神经元结构与功能，通过仿生复杂时空动态和利用脉冲信号传递信息，使得脉冲神经元模型理论上超越了基于传统人工神经网络（Artificial Neural Network, ANN）的人工神经元模型，在计算特征上独具一格。
运行在神经形态芯片上的脉冲神经网络展现出独特优势：只有当输入脉冲信号时才会触发稀疏计算，其余时间保持静息状态，这种脉冲驱动机制成为实现低功耗神经形态计算的核心要素。
尽管当前脉冲神经网络在任务性能上尚无法匹敌传统人工神经网络，但在边缘计算场景中，对低功耗、低时延的需求为神经形态计算带来了巨大的应用潜力。一旦解决算法层面的性能瓶颈，结合神经形态芯片的优势，神经形态计算将在实际应用中爆发性地展现其巨大价值。
中国科学院自动化所李国齐研究员及其团队深入挖掘神经形态计算的性能潜力，指出该领域目前主要围绕脉冲卷积神经网络（Convolutional Neural Network, CNN）展开，而忽略了如Transformer架构这样的深度学习创新成果。直至他们提出一系列Spike-driven Transformer模型，才将脉冲驱动范式成功融入Transformer架构，从而拓宽了神经形态计算的研究边界。李国齐早期在清华大学类脑计算中心施路平教授团队的工作中，已着手解决脉冲神经网络训练的基础问题，但受限于编程框架匮乏、二值脉冲不可导等问题，脉冲神经网络长期以来停留在浅层网络阶段，远落后于传统深度学习的性能表现。然而，随着技术难题的逐一破解，例如2021年李国齐团队在AAAI会议上发表论文解决了深层脉冲神经网络的训练问题，并随后推出开源训练框架SpikingJelly，不仅降低了学习门槛，还提出了通用残差架构，使脉冲神经网络能构建数百层深度且避免脉冲退化现象，有效突破了大规模脉冲神经网络训练的技术瓶颈。
面对脉冲神经网络与Transformer架构的结合问题，李国齐团队决定以“脉冲驱动自注意力算子”作为突破口。他们创造性地将Transformer的关键组件——自注意力机制改造成脉冲驱动形式，并通过反复实验设计出可行的脉冲驱动自注意力算子，展现了优异的线性运算和稀疏计算特性。在此基础上，团队进一步探索了脉冲神经网络的meta架构，旨在缩小与传统人工神经网络在架构设计上的差距。
经过不懈努力，团队成功研发出仅包含稀疏加法操作的脉冲驱动Transformer，并将其纳入下一代神经形态芯片设计的蓝图之中。这一开创性研究成果被收录于2024国际表征学习大会（ICLR 2024），题为《脉冲驱动Transformer V2：元脉冲神经网络架构启发下一代神经形态芯片设计》。
该成果不仅可用于边缘神经形态计算场景，比如采用“神经形态视觉+神经形态计算”的组合方案，实现低至0.42mW的超低静息功耗和低于10mW的典型神经形态视觉任务场景功耗，赋予芯片“永远在线”的特性；同时，也为超大规模神经形态网络设计提供了关键技术支撑，尤其是在大模型时代背景下，纯加法的Transformer架构及线性算子设计有望大幅降低能耗，为未来低功耗类脑脉冲大模型的发展铺平道路。
展望未来，李国齐研究员充满信心地预测神经形态计算领域即将迎来大发展，尤其是在人工智能大模型时代，能耗问题愈发凸显之际，融合类脑时空动态的新一代线性脉冲神经网络架构的探索显得至关重要。他带领的团队将持续攻克难关，包括实现更大规模的脉冲神经网络模型、推广至更多任务类型、构建类脑脉冲大模型架构以及设计适配新型硬件计算架构，力求在训练方法、架构设计、模型规模、任务性能等方面取得系统性突破，引领神经形态计算迈向更广阔的实用领域。
