Sora参数规模仅30亿?谢赛宁等技术大佬深度解析

2024-02-17 热点资讯 关注公众号
    【惊艳全场的Sora:视频生成领域的GPT-3时刻】
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    Sora,这一新兴的视频生成模型,以其颠覆性的表现,在全球范围内迅速蹿红。其产出的每一个视频作品几乎都能在短时间内疯传,即便是“失败案例”也令人着迷不已。学术界也因此沸腾起来,众多业界权威纷纷发表评论,纽约大学助理教授谢赛宁(ResNeXt)直言不讳地指出,Sora将彻底改写整个视频生成技术领域;英伟达高级研究科学家Jim Fan更是将其誉为视频生成的“GPT-3时刻”。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    随着技术报告的发布,关于Sora的讨论愈发激烈,由于报告中并未对所有细节做出详尽解释,专家们只能根据现有信息进行推测。有人猜测Sora可能是一个基于数据驱动的物理引擎,并建立在DiT模型之上,参数量或仅为30亿左右。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    Sora的核心魅力在于其创新的扩散模型架构与Transformer相结合的设计。作为一个能够在不同时长、分辨率和宽高比的视频及图像上训练的模型,Sora采用了一种名为“时空补片”的独特技术,以统一各种视觉数据的表现形式。通过视频压缩网络降低数据维度,将视频转化为时空补片,从而实现对不同规格视频的有效处理。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    此外,OpenAI的研究发现,扩散型Transformer同样可在视频生成领域实现高效扩展,这意味着随着训练资源的增加,Sora生成样本的质量显著提升。更值得一提的是,Sora在视频多样化上的卓越表现,无论是不同分辨率、时长还是宽高比,它都能够游刃有余,且在构图布局方面更为精细,能够完整保留场景元素而不仅仅是裁剪成正方形输出。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    在语言理解能力上,Sora借鉴了DALL·E 3中的重新标注技术,并结合GPT的提示转换机制,使得其文字理解与响应能力尤为出色。尽管如此,有关核心技术创新如“补片”设计的具体,官方报告并未深入展开,这也引发了广大网友和专家们的热烈讨论与猜想。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    谢赛宁教授分析认为,Sora可能是在扩散Transformer——DiT的基础上构建,采用了VAE架构作为视频压缩网络,并估计其参数量大约为30亿个。而英伟达AI科学家Jim Fan则提出另一种观点,他认为Sora更像是一个数据驱动的物理引擎,模拟现实或幻想世界,通过去噪、梯度下降等方法学习复杂的渲染、直观物理、长镜头推理和语义基础等。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    与此同时,OpenAI凭借Sora在全球范围内引发的高度关注,估值飙升至800亿美元,一跃成为全球第三高估值的科技初创公司,仅次于字节跳动和SpaceX。然而,在此荣耀时刻,OpenAI申请注册“GPT”商标却因名称过于通用而未能成功。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    值得注意的是,在Sora发布的同一时期,Stability AI发布了其SVD 1.1版本,但随后却火速删除了相关推文,引起网友热议。这场由Sora引领的视频生成技术热潮,不仅让人们对OpenAI的未来充满期待,也让其他相关企业如剪映看到了新的发展方向,甚至激发了在线教育市场的敏锐商机。Sora的横空出世,无疑预示着视频生成技术的新纪元已然开启。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了

上一篇:光刻技术进化,ASML 探索 Hyper-NA EUV:2030 推进至 0.7nm 工艺
下一篇:小米今年最猛的手机,彻底定了
更多更酷的内容分享
猜你感兴趣
Sora火爆48小时:杨立昆揭示论文,参数量可能仅30亿

Sora火爆48小时:杨立昆揭示论文,参数量可能仅30亿

OpenAI的新爆款Sora持续引发热议,科技圈的热度堪比迎财神。OpenAI首款文生视频大模型Sora成为话题中心,吸引了马斯克、杨立昆等科技人物的关注和评论。技术大牛们推测Sora的技术配方,而竞争对手Runway的CEO也被惊到发表感言。一些技术人员还放出更多用Sora生成的视频作品。

热点资讯 02.18
深度解析与创新:最大基础模型的诞生揭开DNA之谜 - 预览2100亿参数规模的大规模结构

深度解析与创新:最大基础模型的诞生揭开DNA之谜 - 预览2100亿参数规模的大规模结构

百图生科 xTrimo V3发布,参数规模高达2100亿,覆盖蛋白质、DNA、RNA、细胞等七大主流模态。这是一款全球规模最大的生命科学基础模型。百图生科xTrimo系列模型在200个任务模型达到SOTA水平,助力开发了20余种前沿抗体和酶。此外,xTrimo V3在DNA、RNA、蛋白质、细胞、小分子、生物视觉和生物知识文本等七大模态上实现跨模态协作。百图生科已积累超过300家全球用户,总订单超20亿美元,初步完成了技术和商业验证的闭环。在未来,百图生科将继续推动生命科学领域的数字化智能化发展,链接更多生态伙伴参与到大模型应用的进程中。

生活常识 11.06
一文读懂:中国复制Sora的模型架构、参数规模、数据规模和训练成本

一文读懂:中国复制Sora的模型架构、参数规模、数据规模和训练成本

出门问问算法团队发布万字长文,解构中国如何复刻OpenAI的Sora。尽管Sora在视频生成领域实现了碾压式超越,但其技术细节并未公开。本文基于实战经验和相关文献,对Sora的技术路线进行有理有据的猜想,并探讨复刻Sora所需关注的重点。

热点资讯 03.01
交大神童谢赛宁澄清:Sora与我无关。

交大神童谢赛宁澄清:Sora与我无关。

上海交大毕业的天才少年谢赛宁被传是OpenAI文生视频大模型Sora的发明者之一,他在朋友圈否认并表示与Sora无关。他强调人才、数据和算力对复杂系统的重要性,并提到AI监管和技术成熟的问题。Sora展示了AI工具的可能性,成为AI领域的热门话题。训练数据源是关注重点,但OpenAI未透露相关信息。国内某自媒体误传谢赛宁为Sora发明人已被正式辟谣。

热点资讯 02.19
上海玩家耗时1814天打造一款独特游戏,成功打破了传统网络游戏模式的桎梏。大家称其为‘疯狂’的游戏,究竟有何魅力?让我们一探究竟。

上海玩家耗时1814天打造一款独特游戏,成功打破了传统网络游戏模式的桎梏。大家称其为‘疯狂’的游戏,究竟有何魅力?让我们一探究竟。

叠纸创始人和CEO兼游戏制作人的姚润昊在接受采访时表示,《无限暖暖》的研发难度超过了以往的新游项目。这部24分钟的短片通过幕后纪录片的形式展现了这款年度大作的研发过程,包括研发团队面临的各种困难和挑战,以及他们如何克服这些困难并最终成功发布的游戏。这部纪录片让观众有机会了解《无限暖暖》的研发历程,并对这款游戏充满了期待。

热点资讯 11.23
小胖不打,狼队已没戏:AG的决定无可替代

小胖不打,狼队已没戏:AG的决定无可替代

是减少了一定的物理伤害,另一个是将回血速度提高20%。 总的来说,这一系列英雄调整旨在提升辅助英雄在比赛中的表现,同时加强物理系英雄的输出能力。尽管王昭君的被动被削弱,但这并不意味着她的实力下降,而是需要更多的时间去适应新的机制和调整自己的战术打法。

热点资讯 11.23
《完蛋!我被美女包围了!》12月4日登陆WeGame,海量内容等你探索!

12月4日,《完蛋!我被美女包围了!》登陆WeGame,探索无尽的网页美少女盛宴!

《完蛋!我被美女包围了!》12月4日登陆WeGame,海量内容等你探索! 12月4日,《完蛋!我被美女包围了!》登陆WeGame,探索无尽的网页美少女盛宴!

"完蛋!我被美女包围了!”将在WeGame上线,并对玩家体验方便。《完蛋!我被美女包围了!》是一部模拟恋爱全动态真人互动影像作品,游戏的成功是对细分娱乐需求体验的深度挖掘和创新尝试的结果。

热点资讯 11.23
五十铃全新2.2升发动机,实现高效启程与持久续航提升
56%增扭与10%燃油效率的升级体验,让五十铃2.2升发动机焕然一新
五十铃新款2.2升发动机,大幅度提升了动力和燃油经济性

五十铃全新2.2升发动机,实现高效启程与持久续航提升 56%增扭与10%燃油效率的升级体验,让五十铃2.2升发动机焕然一新 五十铃新款2.2升发动机,大幅度提升了动力和燃油经济性

五十铃汽车推出全新D-Max皮卡和MU-X SUV搭载的2.2升“MaxForce”涡轮增压柴油发动机,功率提高56%,燃油效率提升10%,达到符合全球排放法规的要求。这款发动机使用了低摩擦活塞技术,有助于五十铃满足日益严格的排放法规,目前官方还未公布更多细节。

热点资讯 11.23
比亚迪负债率揭秘:正常运营还是隐藏危机?

比亚迪负债率揭秘:正常运营还是隐藏危机?

积极扩大产能的表现,同时也是为了保证公司有足够的现金流来应对可能的风险。根据相关数据显示,比亚迪第三季的负债为5113.33亿元,占总负债的77.91%,这是一个比较健康的负债水平。然而,如果未来业绩出现下滑,可能会对公司的现金流产生影响,因此比亚迪需要注意销量波动对现金流的影响,并且要合理管理和运用负债。 比亚迪的负债率虽然较高,但是由于公司有着较强的偿债能力和良好的现金流管理,所以并不会出现所谓的“暴雷”危机。而且,在新能源、智能化等领域投入巨大且增长迅速的新势力企业也面临着同样高的负债率,如赛力斯、北汽蓝谷、蔚来的2024年第三季度资产负债率分别高达89.02%、85.02%,79.39%。这说明比亚迪在拓展业务和扩大规模的过程中,需要谨慎对待负债问题。 总的来说,比亚迪目前的负债情况处于一个相对合理的范围内,未来若能保持良好的发展前景,企业可以更好地应对债务问题。

热点资讯 11.23
2024广州国际车展:MG有望推出四款新车,除了销量还有品牌提升期待

2024广州国际车展:MG有望推出四款新车,除了销量还有品牌提升期待

2024年广州车展,MG狂发新品!当天上午,MG ES5发布;下午,2025款 MG7震撼登场,持续发布两款新车。俞经民表示明年,MG将在全球推出四款新车,每季度都有新品上市活动。同时,线上还举行全民颠球挑战,邀请用户体验ES5。 MG始终坚持打造“全球轿跑世家”,打造运动性能、动感驾趣的品牌基因。此外,也将推出中大型新能源SUV和搭载固态电池的新款轿车。推广方面,MG率先开启宠物友好模式展厅,开展全民颠球挑战等用户活动,吸引更多用户到展厅感受友好氛围、体验顶级驾趣。

热点资讯 11.23
哪吒释然放下压力,成功实现互联网逆袭

哪吒释然放下压力,成功实现互联网逆袭

哪吒汽车疑似寻求外部资源资金扶持。目前,南宁产业投资集团已与合众汽车达成了战略合作,为哪吒汽车的海外供应链提供了支持。此外,南宁产业投资集团还将提供供应链金融支持,帮助哪吒汽车管理原材料采购、生产、物流等业务。同时,哪吒汽车国内三个生产基地也已经停产近一个月,部分生产线工人被裁员。在海外市场方面,哪吒汽车急需找到新的“落脚点”。此次合作将帮助哪吒汽车保障海外供应链的稳定,并确保其海外车型的生产与交付。最后,哪吒汽车已经寻求到了外部资源的支持,而这些都对公司的未来前景产生了积极的影响。

热点资讯 11.23
数据统计:中国钓鱼爱好者数量惊人,钓鱼第一股概念升温!

数据统计:中国钓鱼爱好者数量惊人,钓鱼第一股概念升温!

随着中国的钓鱼市场规模持续增长,2023年将达到318亿元,同比增长6.3%;同时,乐欣户外已成为全球最大的钓鱼装备制造商,市场份额为20.4%。在当前社会环境下,钓鱼运动吸引了大量年轻人,中国钓鱼参与者数量持续增加。此外,乐欣户外计划通过IPO募集资金来支持品牌开发及推广、产品设计及开发等。

热点资讯 11.23
金融危机爆发:Synapse公司破产引发储户大量财产损失

金融危机爆发:Synapse公司破产引发储户大量财产损失

遭遇欺诈事件,导致大量客户资金被冻结和受损,凸显了金融科技领域系统的风险性。Synapse及其合作银行在处理客户资金账户方面的行为引发了一场金融危機。

热点资讯 11.23
中国红牛再发声:传递品牌精神与价值,引领行业发展

中国红牛再发声:传递品牌精神与价值,引领行业发展

泰国天丝指责华彬集团在合资公司体系外生产红牛产品;中国红牛反驳指责,称50年协议书奠定红牛在中国市场基本的商业模式和合资各方的合营规则;最高人民法院终审判决驳回泰国天丝关于华彬集团存在利益输送行为的指控。 泰国天丝已就华彬集团侵犯其50年商标协议提起诉讼;华彬集团反驳声明认为已签署协议,并指中食、中浩两家公司亦为合营方;最高人民法院终审判决认定华彬集团不存在利益输送行为,泰国天丝败诉。这起涉及跨国品牌的纠纷将对中国乃至全球饮料行业产生深远影响。

热点资讯 11.23