研究人员Sepp Hochreiter和Jürgen Schmidhuber在1997年提出了长短期记忆（LSTM）神经网络结构，可用来解决循环神经网络（RNN）长期记忆能力不足的问题，他们在最新的arXiv上发布了论文，提出了一种名为xLSTM（Extended LSTM）的新架构，以为神经网络结构引入了“sLSTM”和“mLSTM”两项记忆规则，允许相关神经网络结构能够有效地利用 RAM，实现类Transformer“可同时对所有Token进行处理”的并行化操作。

LSTM网络的新突破：新型长短期记忆网络结构

在研究领域中，有一种被称为长短期记忆（LSTM）的神经网络结构，它能够有效地解决循环神经网络（RNN）的长期记忆能力不足问题。然而，RNN的设计局限性在于其只能在有限的时间窗口内进行信息处理，这使得RNN在处理长序列数据时显得力不从心。

为了解决这个问题，研究人员Sepp Hochreiter和Jürgen Schmidhuber在1997年提出了长短期记忆（LSTM）神经网络结构。这种新的神经网络结构允许相关神经网络结构能够有效地利用 RAM，实现类Transformer“可同时对所有Token进行处理”的并行化操作。

最近，他们发表了一篇关于LSTM网络的新论文，在最新的arXiv上发布了。论文详细介绍了他们的新架构——xLSTM，这是基于S-LSTM和M-LSTM两种新的记忆规则设计的一种新型长短期记忆网络结构。
S-LSTM（Single Layer Long Short-Term Memory）是传统的LSTM，它的主要优点在于可以一次性处理大量输入数据，但是缺点是不能灵活地改变记忆单元的数量，也不支持多个输入和输出之间的复杂连接。M-LSTM则解决了这些问题，它可以同时存储多个状态，并且可以通过移动梯度来更新这些状态。
xLSTM结合了以上两种新型的记忆规则，能够在传统LSTM的基础上增加更多的学习层，以及使用移动梯度来更新状态，从而提高模型的性能和泛化能力。更重要的是，xLSTM还引入了一个名为`sLSTM`的子结构，这是一种特殊的S-LSTM，它不仅可以用于LSTM，还可以用于其他类型的长短期记忆网络结构。
总的来说，xLSTM是一种新的、具有高性能的长短期记忆网络结构。它不仅改进了现有的LSTM，而且还提供了更灵活的学习机制和更好的泛化能力，对于各种类型的机器学习任务都具有很大的优势。我们期待看到更多的人使用xLSTM来解决实际问题，从而推动人工智能的发展。