北京大学与快手成功合作开发出1分钟生成5秒短视频的开源Python框架Pyramid Flow

2024-10-12 热点资讯 关注公众号
北京大学与快手成功合作开发出1分钟生成5秒短视频的开源Python框架Pyramid Flow
北京大学、北京邮电大学和快手科技联合开源一款名为Pyramid Flow的高清视频生成模型,该模型通过将token数量减少4倍的方式优化了视频生成的效率和质量。 此外,Pyramid Flow采用的是金字塔流匹配算法,在推理阶段,该模型能在56秒内生成一段时长为5秒、分辨率为384p的视频,远超市面上大多数全序列扩散模型。目前,Pyramid Flow已经在Hugging Face和GitHub上开源。

随着互联网技术的发展,视频生成成为了用户日常生活中的重要需求。然而,现有的视频生成工具在生成视频的效率和质量方面仍有待提高。为此,我们团队创新开发了一款名为Pyramid Flow的高清视频生成模型。这款模型基于GPU并行计算原理,能够实现Token数量的四倍减少,从而显著提升了视频生成的速度和质量。
Pyramid Flow采用了塔形流匹配算法,能够在短时间内生成一部长度为5秒、分辨率为384p的视频。与市面上大部分全序列扩散模型相比,Pyramid Flow具有更高的效率和更低的成本。
此外,Pyramid Flow已在Hugging Face和GitHub上成功开源。作为一款高效的视频生成工具,Pyramid Flow已经得到了广泛的应用。它将对未来的视频生成市场产生积极影响。
总的来说,Pyramid Flow是一款革命性的视频生成模型,其高效性和低成本使其成为未来视频生成市场的重要竞争者。我们将继续努力,提供更高质量的视频生成服务。

上一篇:2024年诺贝尔物理学奖颁给AI教父!机器学习算物理学?听听诺奖委员会怎么说
下一篇:85后诺奖得主John Jumper:导师愿意给自己做PPT的编程高手
更多更酷的内容分享
猜你感兴趣
北京大学快手团队发布新框架:一键组合复杂的视频细节与代码,实现开放源码的高效生成和使用

北京大学快手团队发布新框架:一键组合复杂的视频细节与代码,实现开放源码的高效生成和使用

视频,团队引入时空组合扩散方法,成功解决了传统方法难以解决的问题。视频Tetris的出现,使得组合生成在文生图和文生视频领域都有所突破。它成功地结合了多个指令、多个场景,并保留了所有的时间和空间信息。未来,团队还将进一步优化VideoTetris的框架,以提供更好的性能和质量的长视频生成。

热点资讯 06.16
快手即将公开一款超强大的预训练模型:能生成长达3分钟的长视频

快手即将公开一款超强大的预训练模型:能生成长达3分钟的长视频

快手可灵大模型发布重大更新,正式开放图生视频功能,支持将静态图像转化为5秒钟视频。此外,还推出了视频续写功能,最多可生成3分钟视频。

热点资讯 06.21
Adobe发布:创新视频生成工具,让你瞬间创造长达5秒的短视频,一键再现,无需专业技能

Adobe发布:创新视频生成工具,让你瞬间创造长达5秒的短视频,一键再现,无需专业技能

Adobe发布了全新的生成式AI视频模型——Firefly Video,该模型旨在让用户体验更为便捷高效的视频生成服务。该模型引入了新的编辑功能,如文生视频、图生视频和生成扩展,让用户可以更加精细地控制视频的质量和细节。此外,Premiere Pro还新增了生成扩展功能,让用户可以在不重新拍摄的情况下对视频进行微调。这款AI技术将广泛应用于创意工作中,帮助用户快速完成复杂的视频制作任务。

热点资讯 10.16
OpenAI震撼发布:全新Sora模型,一句话生成1分钟超清视频!

OpenAI震撼发布:全新Sora模型,一句话生成1分钟超清视频!

OpenAI发布Sora模型,根据文本描述生成视频,深度模拟真实物理世界,实现人工智能理解与互动能力的重大飞跃。可制作长达一分钟高视觉质量视频,为艺术家、电影制片人和学生带来无限可能。目前由Team Red测试潜在风险,专业创意人士测试实用性,以反馈改进。Sora能创建复杂场景,准确反映用户提示,但也存在局限性,如模拟复杂场景物理特性和理解特定因果场景的挑战。

热点资讯 02.16
卫生巾行业竞争激烈,新进入者需警惕的食品安全问题

卫生巾国标的争议并未停止,新的竞争态势即将开启

卫生巾行业竞争激烈,新进入者需警惕的食品安全问题 卫生巾国标的争议并未停止,新的竞争态势即将开启

的重视和对产品质量的严格把控;其次,明确指出到2025年3月实现"全线产品国标零负差",并计划在今年12月份推出改良产品;最后,ABC公司创始人邓景衡表示愿意承担起社会责任,通过改革提升产品品质。这些信息表明,ABC公司在这次卫生巾质量问题的讨论中积极应对并采取了相应的措施。

热点资讯 11.23
96岁高龄华人李嘉诚再显风采:因突发事件两次露面,引发关注

96岁高龄华人李嘉诚再显风采:因突发事件两次露面,引发关注

李嘉诚基金会在港大医学院宣布捐赠超声波组织碎化技术(Histotripsy)医疗仪器两度出现在公众视野中。 Histotripsy技术2023年被美国 FDA 批准用于治疗肝脏肿瘤,是一种无创的技术,旨在精准破坏癌细胞。经过数月的研发和试验,该技术首次运送到香港,并帮助30名肝癌患者接受治疗。

热点资讯 11.23
AI驱动的计算时代:为何 Arm CPU仍为基石?
 Arm 资源:推动 AI 计算时代的基石

AI驱动的计算时代:为何 Arm CPU仍为基石? Arm 资源:推动 AI 计算时代的基石

CPU 仍是 AI 加速计算时代的基石。Arm 终端事业部产品管理副总裁James McNiven在大会上指出,无论未来走向何处,ARM CPU 都将是 AI 运行的基础。CPU 在云计算市场的份额巨大,难以被 GPU 替代,这是当前事实。尽管GPU 不能完全取代 CPU,在图像处理、AI加速计算等领域仍有优势,但总体而言,CPU 的通用计算能力仍然是AI领域的核心基石。

热点资讯 11.23
中方决定:对日本等9国试行免签政策,进一步拓展中国开放合作新机遇

中方决定:对日本等9国试行免签政策,进一步拓展中国开放合作新机遇

中国扩大免签国家范围,将于2024年11月30日至2025年12月31日期间对保加利亚、罗马尼亚等国家的持普通护照人员试行免签政策。同时,中国政府还将同步优化入境政策,允许交换访问和商务旅行。该消息引发广泛关注,特别是那些前往这些国家免签的外国人。

热点资讯 11.23
俄罗斯潜艇部队对北极海底电缆进行破坏行动,后果令人担忧!

俄罗斯潜艇部队对北极海底电缆进行破坏行动,后果令人担忧!

关键海底电缆断裂事件引国际关注;被视为俄方破坏行为的一部分,引来西方媒体攻击俄罗斯。北极地区的电缆故障事件凸显国际社会共同对抗海上威胁的重要性,各国应携手合作,应对不确定性和维持地区及全球的和平稳定。

热点资讯 11.23
谢锋:中美关系的未来走向——探讨可能的朋友与伙伴的可能性

谢锋:中美关系的未来走向——探讨可能的朋友与伙伴的可能性

卢比奥提名反华政客 卢比奥称愿与美国做伙伴关系 华方官员致函谢锋:愿与美国做伙伴关系 建议中方调整风向 风向并未发生根本变化 面对美国打压,中美关系险峻 美国采取阳奉阴违手法拉拢其他国家 但中方保持开放态度 积极寻求对话

热点资讯 11.23
无条件痛批MLXG,他就是男人都不够优秀? MLXG回应:硬碰硬,我们有我们的尊严!

无条件痛批MLXG,他就是男人都不够优秀? MLXG回应:硬碰硬,我们有我们的尊严!

MLXG在老头杯上被指责喷无状态,他的好友借用韩服号时未经他人同意,并且在比赛中过分关注自己。此外,MLXG在比赛中不戴耳机的行为也被认为是离谱之举。对此,人们有不同的看法,有人支持MLXG的观点,认为他的游戏理解比无状态要高,而另一些人则认为MLXG的做法不够尊重比赛和队友。

热点资讯 11.23
妲己角色热度爆表,王者荣耀官方发布回应:这究竟是怎么回事?

妲己角色热度爆表,王者荣耀官方发布回应:这究竟是怎么回事?

分析: 该事件涉及一位王者荣耀视频博主,他在直播过程中选中对手妲己玩家作为“目标”,与队友配合蹂躏并杀死妲己。博主事后故意举报妲己,原因是“故意送人头”,导致妲己战绩为0-70,并受到扣除信誉分的惩罚。事件引发大量玩家不满和声讨,官方也在核实情况后进行相应的补偿和处罚。

热点资讯 11.23
曾担任网络陪玩犯错,道歉后寻求回归之路,遭到前队友无情嘲笑

曾担任网络陪玩犯错,道歉后寻求回归之路,遭到前队友无情嘲笑

役中非常出色,但最近却被曝出跑路去当陪玩的情况,引发了外界热议。 cube的跑路事件引起了玩家、队伍以及平台的关注,他在文章中公开道歉,并表示之前的行为是他见识浅薄,所以选择退役。虽然cube已经在联盟受到了处罚,但他的行为仍引发了其他粉丝的担忧。总的来说,cube的文章表明他已经认识到自己的错误,并正在积极寻找新的工作机会。

热点资讯 11.23
广州车展后模特协会发声:条纹哥账号被封与小号新声何时到?

广州车展后模特协会发声:条纹哥账号被封与小号新声何时到?

广州车展上,一条纹哥凭借一个眼神爆火,成为了诸多时尚达人的焦点。然而,这条纹哥的一次异常之举却引发了一些争议和担忧。一方面,一些模特与之合作,并且不少观众对其产生了兴趣;另一方面,平台方也对其进行了封禁处理。对此,一些媒体表示赞同和支持,认为这种行为可能会影响模特的职业形象。然而,也有一些人质疑这一做法是否正确,他们表示不应该随意打击模特的形象,应该给予模特更多尊重和自由表达的空间。最后,这条纹哥的新账号信息引起了人们的关注,引发了更多的思考和讨论。

热点资讯 11.23