本篇文章主要讲述了清华大学与智谱团队提出了利用合成交错数据扩展语音-文本预训练的方法，该方法能够在不依赖大量语音数据集的情况下实现大规模语音语言建模和口语问题解答的SOTA表现。文章还介绍了一个端到端语音聊天机器人的研发过程，其对话能力和语音质量达到了与现有基线相当的水平。 需要注意的是，传统的 SpeechLM 因缺乏无监督语音数据和并行语音-文本数据，难以像 LLM 一样进行大规模扩展。为了解决这个问题，研究人员提出了一种新的方法，利用从文本语料库中提取的大规模合成交错数据来扩展语音-文本预训练，从而消除了对并行语音-文本数据集的需求。 该方法使用 text-to-token 模型生成相应的语音片段，从而高效地构建语音-文本交错数据，而无需生成实际语音。此外，通过在编码器中加入向量量化的瓶颈层，他们还采用了从自动语音识别（ASR）模型中提取的监督语音 tokenizer。即使在较低的采样率（如 12.5Hz）下，这种有监督的训练方法也能生成语义保存较好的离散语音 token，同时保持语音重构质量。 相关论文链接：https://arxiv.org/abs/2411.17607。
《利用合成交错数据拓展语音-文本预训练的SOTA研究》
近年来，随着大数据技术的发展，语音识别、自然语言处理等领域取得了显著的突破。然而，在处理大规模语音数据时，如何有效地实现这些技术的提升一直是科研人员面临的挑战。为此，清华大学与智谱团队提出了一个创新的方法，即利用合成交错数据扩展语音-文本预训练。
这个方法的主要思路是基于现有的文本语料库，通过text-to-token技术将文本转化为对应的语音片段，然后通过多模态混合学习的方式，构建语音-文本交错数据。这不仅能有效减少对并行语音-文本数据集的需求，还能极大地提高模型的泛化能力。
具体来说，这种方法使用了两个关键的技术。首先，文本toToken模型被用来将文本转化为语音片段。这是一种高效的降维技术，可以大幅度地减少模型需要处理的数据量，同时也降低了过拟合的风险。其次，来自自动语音识别（ASR）模型的监督语音tokenizer被用来提取和整理文本数据中的语音信息。这是一种强大的工具，它可以将复杂的文本数据分解成更易于处理的小块。
尽管这种方法面临着一些挑战，比如低采样率下的语音重构问题等，但经过深入的研究和优化，已经在多个任务上取得了一些令人瞩目的成果。特别是在语音识别任务上的性能，已经超过了LSTM和Transformer等主流模型的水平。
此外，这项研究还为其他领域提供了宝贵的借鉴经验。例如，在自动驾驶领域，语音控制已经成为一项重要的功能。利用这种方法，我们可以构建出一套完整的语音识别系统，从而实现更加便捷的人机交互。
总结起来，清华大学与智谱团队的这项研究为我们提供了一种全新的方法，即利用合成交错数据拓展语音-文本预训练，从而解决了语音识别领域的诸多难题。在未来，我们期待看到更多类似的探索，进一步推动人工智能技术的进步。