Sora参数规模仅30亿?谢赛宁等技术大佬深度解析

2024-02-17 热点资讯 关注公众号
    【惊艳全场的Sora:视频生成领域的GPT-3时刻】
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    Sora,这一新兴的视频生成模型,以其颠覆性的表现,在全球范围内迅速蹿红。其产出的每一个视频作品几乎都能在短时间内疯传,即便是“失败案例”也令人着迷不已。学术界也因此沸腾起来,众多业界权威纷纷发表评论,纽约大学助理教授谢赛宁(ResNeXt)直言不讳地指出,Sora将彻底改写整个视频生成技术领域;英伟达高级研究科学家Jim Fan更是将其誉为视频生成的“GPT-3时刻”。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    随着技术报告的发布,关于Sora的讨论愈发激烈,由于报告中并未对所有细节做出详尽解释,专家们只能根据现有信息进行推测。有人猜测Sora可能是一个基于数据驱动的物理引擎,并建立在DiT模型之上,参数量或仅为30亿左右。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    Sora的核心魅力在于其创新的扩散模型架构与Transformer相结合的设计。作为一个能够在不同时长、分辨率和宽高比的视频及图像上训练的模型,Sora采用了一种名为“时空补片”的独特技术,以统一各种视觉数据的表现形式。通过视频压缩网络降低数据维度,将视频转化为时空补片,从而实现对不同规格视频的有效处理。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    此外,OpenAI的研究发现,扩散型Transformer同样可在视频生成领域实现高效扩展,这意味着随着训练资源的增加,Sora生成样本的质量显著提升。更值得一提的是,Sora在视频多样化上的卓越表现,无论是不同分辨率、时长还是宽高比,它都能够游刃有余,且在构图布局方面更为精细,能够完整保留场景元素而不仅仅是裁剪成正方形输出。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    在语言理解能力上,Sora借鉴了DALL·E 3中的重新标注技术,并结合GPT的提示转换机制,使得其文字理解与响应能力尤为出色。尽管如此,有关核心技术创新如“补片”设计的具体,官方报告并未深入展开,这也引发了广大网友和专家们的热烈讨论与猜想。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    谢赛宁教授分析认为,Sora可能是在扩散Transformer——DiT的基础上构建,采用了VAE架构作为视频压缩网络,并估计其参数量大约为30亿个。而英伟达AI科学家Jim Fan则提出另一种观点,他认为Sora更像是一个数据驱动的物理引擎,模拟现实或幻想世界,通过去噪、梯度下降等方法学习复杂的渲染、直观物理、长镜头推理和语义基础等。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    与此同时,OpenAI凭借Sora在全球范围内引发的高度关注,估值飙升至800亿美元,一跃成为全球第三高估值的科技初创公司,仅次于字节跳动和SpaceX。然而,在此荣耀时刻,OpenAI申请注册“GPT”商标却因名称过于通用而未能成功。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了    值得注意的是,在Sora发布的同一时期,Stability AI发布了其SVD 1.1版本,但随后却火速删除了相关推文,引起网友热议。这场由Sora引领的视频生成技术热潮,不仅让人们对OpenAI的未来充满期待,也让其他相关企业如剪映看到了新的发展方向,甚至激发了在线教育市场的敏锐商机。Sora的横空出世,无疑预示着视频生成技术的新纪元已然开启。
爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了

上一篇:光刻技术进化,ASML 探索 Hyper-NA EUV:2030 推进至 0.7nm 工艺
下一篇:小米今年最猛的手机,彻底定了
更多更酷的内容分享
猜你感兴趣
Sora火爆48小时:杨立昆揭示论文,参数量可能仅30亿

Sora火爆48小时:杨立昆揭示论文,参数量可能仅30亿

OpenAI的新爆款Sora持续引发热议,科技圈的热度堪比迎财神。OpenAI首款文生视频大模型Sora成为话题中心,吸引了马斯克、杨立昆等科技人物的关注和评论。技术大牛们推测Sora的技术配方,而竞争对手Runway的CEO也被惊到发表感言。一些技术人员还放出更多用Sora生成的视频作品。

热点资讯 02.18
深度解析与创新:最大基础模型的诞生揭开DNA之谜 - 预览2100亿参数规模的大规模结构

深度解析与创新:最大基础模型的诞生揭开DNA之谜 - 预览2100亿参数规模的大规模结构

百图生科 xTrimo V3发布,参数规模高达2100亿,覆盖蛋白质、DNA、RNA、细胞等七大主流模态。这是一款全球规模最大的生命科学基础模型。百图生科xTrimo系列模型在200个任务模型达到SOTA水平,助力开发了20余种前沿抗体和酶。此外,xTrimo V3在DNA、RNA、蛋白质、细胞、小分子、生物视觉和生物知识文本等七大模态上实现跨模态协作。百图生科已积累超过300家全球用户,总订单超20亿美元,初步完成了技术和商业验证的闭环。在未来,百图生科将继续推动生命科学领域的数字化智能化发展,链接更多生态伙伴参与到大模型应用的进程中。

生活常识 11.06
一文读懂:中国复制Sora的模型架构、参数规模、数据规模和训练成本

一文读懂:中国复制Sora的模型架构、参数规模、数据规模和训练成本

出门问问算法团队发布万字长文,解构中国如何复刻OpenAI的Sora。尽管Sora在视频生成领域实现了碾压式超越,但其技术细节并未公开。本文基于实战经验和相关文献,对Sora的技术路线进行有理有据的猜想,并探讨复刻Sora所需关注的重点。

热点资讯 03.01
交大神童谢赛宁澄清:Sora与我无关。

交大神童谢赛宁澄清:Sora与我无关。

上海交大毕业的天才少年谢赛宁被传是OpenAI文生视频大模型Sora的发明者之一,他在朋友圈否认并表示与Sora无关。他强调人才、数据和算力对复杂系统的重要性,并提到AI监管和技术成熟的问题。Sora展示了AI工具的可能性,成为AI领域的热门话题。训练数据源是关注重点,但OpenAI未透露相关信息。国内某自媒体误传谢赛宁为Sora发明人已被正式辟谣。

热点资讯 02.19
新款瑞虎捷途旅行者震撼上市:外观硬朗,氮气减震,配备梯子和背挂胎等丰富配置

新款瑞虎捷途旅行者震撼上市:外观硬朗,氮气减震,配备梯子和背挂胎等丰富配置

捷途JMK推出新车型,车身风格粗犷硬朗,外观套件丰富,具有全新中网、上下扬护杠、新型高位差速器等设计。内饰整体造型与普通版相同,但装饰性细节有所调整,包含联名发光门槛、私人定制香氛系统等。动力配置采用2.0T发动机,匹配7速双离合变速器,并配备了XWD全自动智能四驱系统。此外,新车还有航海迷彩涂装风格和全地形轮胎选项。

热点资讯 11.10
投资者担忧:为何上汽集团股价屡创新低?原因曝光,再次引发质疑!

投资者担忧:为何上汽集团股价屡创新低?原因曝光,再次引发质疑!

会集中在高端电动车型,并且由于中外合资品牌的低迷导致销量下滑,对于集团来说无疑是一次挑战。同时,未来4-5季度,如果单靠这一部分产品无法达到集团设定的目标,那么可能面临巨大的市场份额和财务压力。不过,这只是时间问题,只要调整策略并推出更多创新产品,相信能够有所改善。对于投资者而言,未来需要密切关注行业动态以及企业的战略转型,以判断是否能从中受益。

热点资讯 11.10
特朗普或拒邀请前竞争对手黑利、蓬佩奥入内阁

特朗普或拒邀请前竞争对手黑利、蓬佩奥入内阁

美国前共和党总统候选人黑利宣布不参加2024年总统竞选。

热点资讯 11.10
长安首款“黑科技黑科技颠覆性的起售价9万的超酷年轻人掀背轿跑:全新长安汽车发布!黑科技十足,年轻人都要拥有一辆!

长安首款“黑科技黑科技颠覆性的起售价9万的超酷年轻人掀背轿跑:全新长安汽车发布!黑科技十足,年轻人都要拥有一辆!

长安UNI-V今年开启双11优惠,售价9.49万元,高配车型仅需9万即可拥有一辆中高级性能车,搭载1.5T高功发动机,最大功率188马力,直逼2.0T发动机,百公里油耗低至6.2升。内饰设计豪华,配备了10.3英寸中控大屏、全液晶行车电脑、L2级别智能辅助驾驶系统等配置,满足用户的各种需求。

热点资讯 11.10
互联网推动下的餐饮行业:为何越来越多的餐厅开始开设拌饭店?

互联网推动下的餐饮行业:为何越来越多的餐厅开始开设拌饭店?

拌饭在中国市场实现了逆袭增长,原因在于市场需求高、口味多样、符合平价消费趋势和餐饮供应链成熟。当前多个拌饭品牌获得融资,纷纷推出子品牌以扩大市场规模和品牌影响力。拌饭市场竞争激烈,不仅体现在资本投入上,还体现在连锁餐饮巨头的竞争下。

热点资讯 11.10
我在战场:震撼军容广告遍地,俄罗斯士兵面容疲态尽显

我在战场:震撼军容广告遍地,俄罗斯士兵面容疲态尽显

作家吴向在乘坐横跨西伯利亚的火车体验了俄罗斯士兵的生活艰辛后,在旅途中见到了来自不同民族和背景的人们,也见证了战争的冲击。与此同时,他还了解到战争对普通家庭的影响相对较小,因为征兵广告主要吸引来自贫苦人家的年轻人。此外,作者还发现俄罗斯人对猫的喜爱可能与中世纪鼠疫有关,猫士兵们勇敢地守护了他们的城市。文章共分为5部分:首段描述了吴向乘火车穿越西伯利亚的过程;第二段介绍了他在火车站见到的各种人物和景象;第三段讲述了他观察到的战争场景;第四段介绍了俄罗斯人喜爱猫的原因;第五段总结了整个旅行的经历。

热点资讯 11.10
蔡昉教授:将老年照护市场化,对推动就业与经济增长有深远影响

蔡昉教授:将老年照护市场化,对推动就业与经济增长有深远影响

须得到别人的照顾。其次,劳动力供给不足是另一个原因。随着劳动年龄人口减少,以及许多青壮年人为了工作选择外出务工,留在家里的家庭成员可能会变得空虚无力。 最后,随着科技进步和社会变革,家务劳动的形式也在发生转变。一些传统的体力劳动可以被机器替代,比如做家务、扫地等,这就需要人们学习新的技能来应对未来的需求。 针对这些问题,蔡昉建议将家务劳动市场化、职业化、产业化,即让家务劳动成为有偿劳动,同时引入新技术,如机器人和人工智能,来提高服务质量和效率。他的观点强调了将家务劳动市场化的重要性和紧迫性,并提出了相应的解决方案。

热点资讯 11.10
华尔街投资者担忧:过度乐观的市场表现可能带来的风险

华尔街投资者担忧:过度乐观的市场表现可能带来的风险

从事件起因来看,特朗普归来后,华尔街市场的情绪得到了极大的提振,尤其是小型股、银行股等股票表现抢眼。然而,过度乐观的情绪也可能导致投资者忽视了经济及其他领域的疲软现象,如就业数据不佳。 就事件关注的爆点来看,特朗普政府实施的移民限制和关税政策引发了通胀压力,同时,股市估值的攀升和市场的乐观情绪也给未来的不确定性带来了风险。

热点资讯 11.10
特朗普在美国大选中获得关键多数,终于赢得312张选举人票

特朗普在美国大选中获得关键多数,终于赢得312张选举人票

特朗普在佛罗里达州宣布获胜,拜登承认败选。特朗普在白宫发表讲话,宣布将在2024年总统选举中获胜。哈里斯在华盛顿特区发表讲话,承认败选。请注意,该新闻仅涉及两个主要人物的信息,详细情况还需查阅最新的报道和统计信息。

热点资讯 11.10
中国钻石市场刷新纪录,一天卖出4.27亿

中国钻石市场刷新纪录,一天卖出4.27亿

高端珠宝市场在面临经济挑战的情况下仍展现出非凡的抗跌能力与吸金效应。10月29日在佳士得举办的珠宝专场拍卖会上,其总成交额达到了4.67亿港元,其中52%的拍品成交价格超过了拍前最高估价。这一现象引发行业关注,贝恩公司指出,高级珠宝已成为当前不确定经济环境下的一个投资亮点。这可能是收藏家们对价格的敏感度有所提升的结果。此外,钻石开采与生产技术的显著进步,尤其是河南地区钻石产量的快速增长,也为中国钻石市场带来了更多的供应源。数据表明,2023年河南人造钻石产量达到190亿克拉,占全国总产量的约八成。因此,预计未来钻石市场的需求将继续增长。同时,市场竞争也将进一步加剧,中国钻石品牌面临着严峻挑战。

热点资讯 11.10