谷歌团队近日推出一款名为VideoPrism的通用视觉编码器，在视频理解领域刷新了30项SOTA性能记录。这款强大的AI模型，经过在包含3600万高质量视频字幕对和5.82亿个视频剪辑的大型数据集上训练，能够通过单一冻结模型处理多种视频理解任务，包括分类、定位、检索、字幕生成及QA问答。
    在Meta和谷歌等科技巨头纷纷跟进OpenAI的步伐，探索AI视频模型之际，VideoPrism以其独特的两阶段训练法脱颖而出。它首先利用对比学习将视频编码器与文本编码器进行对齐，然后通过全局蒸馏和标记式嵌入提炼进一步提升性能。实验中，VideoPrism在分类和时空定位任务上展现出卓越的能力，不仅超越了所有基准测试中的基线方法，而且在零样本视频文本检索、字幕生成以及科学领域的CV任务上也取得了显著进步。
    值得注意的是，VideoPrism在广泛的视频理解任务上均表现出了极强的通用性和泛化能力，其高效的预训练策略结合噪声并行文本数据，使得模型能够从各种视频信号中提取丰富的语义、外观线索、运动信息以及时空上下文，并且具备跨不同视频源的鲁棒性。
    此外，研究者们进行了消融研究，证明了VideoPrism设计架构的有效性，尤其是在促进模型理解和解析视频动作方面。综上所述，谷歌团队研发的VideoPrism通用视觉编码器为构建真正意义上的基础视频模型树立了新的标杆，并预示着视频分析技术将在各个科学领域取得重大突破。