Transformer模型自2017年起已经成为AI领域的核心技术，在2017年的开山之作中提出了「注意力机制」，并从此奠定了其主导地位。然而，关于其核心机制「注意力」的起源，存在争议。根据观点一，Jürgen Schmidhuber主张自己更早提出了相关概念。而在另一观点下， Andrej Karpathy指出他才是真正的创造者，早在1991年就已经提出线性复杂度Transformer，并且在两年后提出了术语「注意力」。对于「Attention起源」的辩论继续热烈，现代AI几乎全部建立在注意力机制的理论之上。虽然Transformer模型的核心贡献在于引入Transformer神经网络，删除了除各种注意力机制外的所有模块，但这并未解决关于Transformer和系统实现的重要性的讨论。



Transformer模型自2017年起已经成为AI领域的核心技术，在2017年的开山之作中提出了「注意力机制」，并从此奠定了其主导地位。然而，关于其核心机制「注意力」的起源，存在争议。

观点一：Jürgen Schmidhuber主张自己更早提出了相关概念。他认为他在1989年就已经提出了Attention机制，并且在1991年已经发表了相关的论文。Jürgen Schmidhuber的观点得到了一些支持，但他并不是唯一一个提出该概念的人。

观点二：Andrej Karpathy指出他才是真正的创造者，早在1991年就已经提出线性复杂度Transformer，并且在两年后提出了术语「注意力」。他认为他提出的概念是最早的，并且在后来的研究中得到了进一步的发展和完善。
对于「Attention起源」的辩论继续热烈，现代AI几乎全部建立在注意力机制的理论之上。虽然Transformer模型的核心贡献在于引入Transformer神经网络，删除了除各种注意力机制外的所有模块，但这并未解决关于Transformer和系统实现的重要性的讨论。
总的来说，关于Transformer模型的核心机制「注意力」的起源，不同的人有不同的看法和理解。尽管Jürgen Schmidhuber和Andrej Karpathy的观点都有一定的道理，但这些并不能作为我们判断谁是对的唯一依据。我们需要不断地学习、研究和发展，才能更好地理解和掌握人工智能这一重要领域。