有实际行动的特斯拉王——马斯克宣布开源Grok,免费提供高达3140亿参数。我们的目标是推动技术进步,让每个人都能使用到。

2024-03-19 热点资讯 关注公众号

文|武静静

|邓咏仪

炮轰OpenAI闭源,甚至与OpenAI对簿公堂的马斯克,说到做到,真的把自家的Grok开源了。

经历了一周的造势,当地时间3月17日,Grok-1开源版本如约而至。从参数来看,Grok-1是目前参数量最大的开源大语言大模型之一,其参数规模达到了3140亿,超过GPT-3.5当时1750亿的参数量。

图片来自Grok博客

目前Grok没有语言之外的其他能力,但xAI称,计划未来将Grok打造成多模态的大模型。

从ChatGPT发布后,马斯克就站在OpenAI对立面,成为排头兵,xAI也是为此而成立。不少人对Grok-1报以期待,想迫不及待试试。

截图自社交媒体平台X

好于GPT-3.5可商用,但难以迭代

xAI是马斯克2023年创立的大模型公司,其设计初衷是模仿科幻小说《银河系漫游指南》,提供尖锐的回复。目前Grok技术已集成到社交媒体平台X中,可以根据用户的帖子进行回复,订阅 X 高级功能的用户可以直接向Grok提问。

从整体测试效果来看,这次开源的Grok-1可以说“比上不足,比下有余”——在各个测试集中呈现的效果要比GPT-3.5、70b的LLAMA2和Inflection-1要好,但距离Claude2和GPT-4仍然差了一大截。

图片来自Grok博客

不过,由于Grok-1是xAI从零开始训练,在2023年10月就已经结束了预训练,且没有针对任何特定应用(如对话)进行微调,所以目前无法直接体验到对话的应用。

在社交媒体上,有人评论称,Grok-1没有对特定任务进行微调,提高了用户使用它的门槛,“市场需要特定的工具,而不是通用的人工智能。”

截图自社交媒体平台X

也有人认为,Grok-1这种方式可以适应多种不同的任务和应用场景,更适合那些想要用开源模型打造自己专有模型的开发者。

技术架构上,和GPT-4一样,Grok-1采用了大规模参数的专家混合模型(Mixture-of-Experts, MoE)架构,可以将大型网络分解为多个“专家”子模块,每个子模块负责处理不同类型的信息或任务。

底层技术上,Grok-1选择使用了基于JAX(一个由Google开发的用于高性能机器学习研究的库)和Rust(一种注重安全性和并发的系统编程语言)的自定义训练堆栈。

这并不是大型语言模型中常见的选择。大多数知名的大模型比如OpenAI的GPT系列或Google的大模型通常是基于TensorFlow或PyTorch这样的主流深度学习框架开发的,且有丰富的API和社区支持,能让模型开发和训练变得更高效。

但Grok-1将JAX和Rust的结合,优势在于能够在模型性能、效率和可伸缩性方面有所优化。但这也意味着,xAI可能需要投入更多的资源来维护和支持这种非主流的技术栈。

效率上,Grok-1模型也找到了更高效训练的方法。在Grok-1模型中,只有大约25%的权重在任何给定时刻是”活跃”的,可以把“权重”理解为参与信息处理的“工具”,这种“活性权重”可以减少不必要的计算,提高处理速度,同时也减少了冗余。

此外,Grok-1的权重和架构是在宽松的Apache 2.0许可下发布的,这使得研究者和开发者可以自由地使用、修改和分发模型,打开了更多开放合作和创新的可能性。

眼下,Grok-1面临的最迫切问题是模型参数太大(3140亿),这需要巨大的计算资源,所以开源社区无法对Grok-1进行迭代。

不过,目前,对话搜索引擎公司Perplexity CEO Aravind Srinivas已经在社交媒体上发文称,将会基于Grok的基础模型,进行对话式搜索和推理的微调。

截图自社交媒体平台X

OpenAI对立面:不断壮大的开源力量

Grok-1的开源也意味着马斯克已经选边站,站在开源这一头,身体力行的参与对抗OpenAI。

截图自社交媒体平台X

也有人认为,这是马斯克搞的又一次营销噱头。“一家营利性公司开源的东西往往表明它还不够好。”

截图自社交媒体平台X

但不论动机如何,马斯克此次确实给开源力量增加了有分量的筹码。

一直以来,开源和闭源的争议从未停止。市场争议主要集中在两端,OpenAI认为闭源能够让技术更安全的被使用,避免技术滥用;开源一方则认为技术不应该掌握在某家公司手中,需要更透明、更公开。几天前,苹果发布的多模态大模型MM1,也提到要致力于让技术更透明化。

用更直白的话来说,面对一骑绝尘的的OpenAI,模型层闭源的意义可能并不大,不如开放给社区一起迭代。因此,开源成为更多公司“团结起来”的选择。

一个典型例子是,Sora大火之后,中国创业公司潞晨科技团队就火速自研,推出了开源全球首个类Sora架构视频生成模型 「Open-Sora 1.0」,该模型包括整个训练流程,包括数据处理、所有训练细节和模型权重。

目前开源力量最大的参与方是Meta,也成为了AI开源社区中的“一面旗帜”,2023年7月,Meta发布了免费可商用版本大模型Llama 2。最近,已经有不少媒体报道称,Meta正在加紧开发新的大语言模型,预计在今年推出能力对标GPT-4的开源大模型。马克·扎克伯格此前还公开透露,会在2024年底前购买约35万张英伟达最先进的H100 AI GPU。

另一个有竞争力的公司是法国生成式AI独角兽Mistral AI,今年2月,Mistral AI发布全新旗舰模型Mistral Large。Mistral Large在基础测试中的表现出色,以81.2%的分数超越了谷歌Gemini Pro、GPT-3.5、Meta Llama 2-70B三款模型。成为仅次于GPT-4、世界第二大可通过API访问的AI大模型。

更多公司正在加速参与到大模型开源中,试图瓦解OpenAI闭源路线构建起的技术围墙。

欢迎来聊~


经过一周的造势,开源大语言大模型Grok-1终于如约而至。虽然没有语言之外的能力,但xAI对其表示了极大的期待,希望尽快试用。目前,Grok-1的最大特点是参数量高达3140亿,超过GPT-3.5当时1750亿的参数量。
然而,由于Grok-1的参数量过大,目前还不具备实现对话应用的能力。此外,考虑到模型性能、效率和可伸缩性的优化问题,xAI需要投入更多的资源来维护和支持这种非主流的技术栈。
尽管如此,Grok-1仍然是开源社区的一大力量,吸引了马斯克等科技巨头的关注。他的身影无疑是对开源力量的一次重要推动。
在未来,开源的力量将继续壮大,尤其是在大型语言模型领域。随着技术的发展和AI应用的不断扩大,越来越多的企业和个人都将加入到AI开源的大军中,共同构建更安全、更透明的AI环境。在这个过程中,开源不仅提供了模型的解决方案,也为科研人员提供了强大的工具和平台,让他们能够更好地探索和创新。

上一篇:英伟达新核弹B200发布,一台服务器顶一个超算,AI推理30倍加速
下一篇:HMD Global 官宣诺基亚 3310 5G 功能机 5 月发布
更多更酷的内容分享
猜你感兴趣
特斯拉马斯克公开了巨大的Grok参数库。它可以免费使用,并且有超过3140亿的参数。这是一个非常强大的工具!

特斯拉马斯克公开了巨大的Grok参数库。它可以免费使用,并且有超过3140亿的参数。这是一个非常强大的工具!

马斯克指出大模型Grok开源;其原理是混合专家架构,有8个专家,超过密集模型Llama 2的参数量。同时,参数量巨大、需要GPU和内存支持,但工程架构独特,未采用传统深度学习方法。

热点资讯 03.18
马斯克发布的Grok-1开源项目,有超过3140亿个参数,是迄今为止最大的。

马斯克发布的Grok-1开源项目,有超过3140亿个参数,是迄今为止最大的。

特斯拉CEO马斯克的AI创企xAI宣布发布3140亿参数的混合专家模型Grok-1,参数量远超OpenAI GPT-3.5。此外,该模型具有高智能和批判性思维,并将在LML和MMLU等评测中取得优异成绩。

热点资讯 03.18
特斯拉CEO马斯克日前发布了全球最大的开源人工智能模型。这个模型有3140亿个参数,击败了OpenAI的Grok,再次展现了他的创新能力和科技实力。

特斯拉CEO马斯克日前发布了全球最大的开源人工智能模型。这个模型有3140亿个参数,击败了OpenAI的Grok,再次展现了他的创新能力和科技实力。

马斯克宣布开源自家公司的大模型(Grok-1)。该模型参数达到3140亿,为最大开源大模型。王煜全对此表示理解并提出判断未来发展的两个关键因素——趋势和模式。 anthropic公司推出的Claude 3大模型有望影响未来,因其具有多个模态和多agent处理能力。

热点资讯 03.19
马斯克的AI公司今日发布了最新大模型Grok-1,其参数量高达3140亿。这款模型将为AI技术提供强大的支撑。

马斯克的AI公司今日发布了最新大模型Grok-1,其参数量高达3140亿。这款模型将为AI技术提供强大的支撑。

美国埃隆·马斯克旗下的人工智能初创公司xAI发布了其大语言模型Grok-1的基本模型权重和网络架构,并已经开源。

热点资讯 03.18
中信证券暂停两名保荐代表人的工作,原因曝光:投资者关切还在继续

中信证券暂停两名保荐代表人的工作,原因曝光:投资者关切还在继续

深圳市皓吉达电子科技股份有限公司在创业板IPO项目中存在不准确、不完整披露实际控制人曾为夫妻关系等事项、未核实控股子公司重大股权变更等情况,受到交易所通报批评和书面警示,并暂停两家公司辅导人员的工作六个月,至今尚未恢复。

热点资讯 11.10
叶珂发文道歉并宣布退网:关于找女友的眼光,与黄晓明学习取经的最新动态

叶珂发文道歉并宣布退网:关于找女友的眼光,与黄晓明学习取经的最新动态

晓明确实有稳定的恋爱关系,而叶珂则一直在利用这个平台进行炒作。11月10日,叶珂发布致歉信并宣布退网,引发广泛关注。而近期,又有娱乐博主曝出叶珂的各种猛料,导致她在网上的形象受到质疑。尽管如此,黄晓明和叶珂依然保持良好的关系,共同去医院产检,展现他们的深情厚意。对于外界的猜测,他们已经给出了明确回应。叶珂解释说离婚是她净身出户,并没有所谓的高额抚养费和房产。同时,她也否认自己是一个假富婆,并表示自己的经济状况并不好。此外,她还提到网上传言中的各种信息都是假的,甚至强调自己并未给任何女性花钱。综合来看,这场网络风波并未让黄晓明和叶珂之间的感情受到影响,反而让他们更加紧密。

热点资讯 11.10
以色列球迷遭袭事件中已有63人被捕 荷兰警方将在首都增派警力

以色列球迷遭袭事件中已有63人被捕 荷兰警方将在首都增派警力

荷兰警方已经逮捕了62名涉嫌参与阿姆斯特丹足球球迷骚乱的以色列球迷。同时,当局还将通过增加警力和扩大预设搜查范围来应对这一事件。以色列驻荷大使馆表示,预计会有约3000人从阿姆斯特丹撤回以色列。7日深夜,以色列球迷在阿姆斯特丹街头遭到了巴勒斯坦人的暴力袭击,导致10名以色列人死亡。为了确保安全,荷兰首都阿姆斯特丹加强了安保措施,并为受影响的人提供了临时救助航班。此次事件引发了国际社会的关注,荷兰警方也正在对此事进行深入调查。

热点资讯 11.10
詹皇观战南湾湖人,大胜14分,布朗尼首秀独得9分

詹皇观战南湾湖人,大胜14分,布朗尼首秀独得9分

南湾湖人11月10日战胜盐湖城星,布朗尼首次登场31分21秒得6分3篮板4助攻2抢断1盖帽,但三分命中率仅为16.7%;虽然全场仅有6中2得到4分2篮板3助攻1抢断1盖帽数据,但南湾湖人首节便轻松占据优势,随后在第二节比赛中布朗尼手感下滑,并有4人得分上双,最后仍以110-96赢得胜利。

热点资讯 11.10
外星视角:雾霾肆虐拉合尔,画面震撼人心!

外星视角:雾霾肆虐拉合尔,画面震撼人心!

拉合尔市遭雾霾袭击,影响民众健康;政府针对焚烧秸秆农民进行罚款并采取措施控制机动车使用;症状包括咳嗽、打喷嚏、呼吸困难等。建议改善公共交通和实施长期解决方案。

热点资讯 11.10
俄罗斯和乌克兰官员访问白俄罗斯,开启两国关系新篇章

俄罗斯和乌克兰官员访问白俄罗斯,开启两国关系新篇章

俄罗斯人权专员透露,在白俄罗斯举行的俄乌会面中,双方就人道主义合作议题进行了深入讨论,并促成了第一次温馨的家庭团聚。然而,由于乌克兰方面的拒绝和难题,本次会面的后续进展仍需关注。这一系列事件凸显了战场上的伤亡比例不公,引起了国际社会的关注。

热点资讯 11.10
以色列发布哈马斯非法拍摄的囚禁和虐待视频,1000多个小时的历史记录揭露巴勒斯坦人的苦难生活

以色列发布哈马斯非法拍摄的囚禁和虐待视频,1000多个小时的历史记录揭露巴勒斯坦人的苦难生活

以色列军方近期揭露哈马斯审讯人员针对无辜巴勒斯坦平民实施的残酷酷刑,涉及数千小时的录像证据显示囚犯遭捆绑、凌辱等痛苦折磨;录像可能出现在2018年至2020年间;军方人士表示审查时间较长,尽管细节难以核实,但仍警告哈马斯对加沙平民的虐待行为。其中一名审讯员轻松自在、甚至在虐待过程中闲聊,一名囚犯被打倒在地、脖子遭绑,许多人被迫通过边境逃离加沙。哈马斯长期控制加沙地带,并残酷对待当地民众,包括同性恋者。

热点资讯 11.10
俄罗斯倒下:未来全球权力格局将如何演变?

俄罗斯倒下:未来全球权力格局将如何演变?

中国定位为全球第二大经济体,将推动全球治理体系改革。这表明美国正试图通过加强对华制裁、提升自身的国际地位和影响力,以维护自身利益。与此同时,中国正在加强与俄罗斯等非西方大国的合作,并积极争取更多国家的支持。然而,某些人仍然持怀疑态度,认为中国是为了自己的国家利益和国际地位而行动。对于这种观点,我们需要冷静分析,既要看到中国积极参与全球治理和推进经济发展,也要认识到中国政府也有自己的考虑因素。同时,我们也应关注到一些不稳定因素,如叙利亚内战、阿富汗战争等,这些战争不仅威胁了地区的和平与稳定,还影响了全球的经济发展。因此,我们需要保持警惕,尽可能避免成为上述冲突的参与者或受益者。

热点资讯 11.10
惊爆!梦幻西游一天内炸出三本颠覆性的超级否定兽诀与葫芦娃锦衣,限时抢购开启!

惊爆!梦幻西游一天内炸出三本颠覆性的超级否定兽诀与葫芦娃锦衣,限时抢购开启!

道人上线后,梦幻西游中不少欧皇小伙伴都成功逆袭了超级兽诀。今日,就有3位运气极好的玩家炸出了3本超级否定信仰,令人羡慕不已。下面,就带大家去看看今天的梦幻新鲜事吧! 首先,一天之内炸出三本超级否定。 其次,葫芦娃锦衣价格已到冰点。 再次,这个摊位收武器有点坑? 最后,活动选决战还是铃铛? 各位小伙伴在购买物品时,一定要注意商人和收购摊位的价格,并且选择适合自己的方式进行出售。

热点资讯 11.10
《三角洲行动》与《如鸢》神仙大战:10月盈利游戏排行榜揭晓

《三角洲行动》与《如鸢》神仙大战:10月盈利游戏排行榜揭晓

10月国内App Store游戏下载榜表现抢眼:腾讯旗下新品《三角洲行动》以643万次下载力拔头筹,位居下载量榜首;小成本休闲游戏《沙威玛传奇》持续火辣走红;而《沙威玛传奇》则凭借其独特的AI味道吸引了大量游戏主播青睐;在国内市场上,《沙威玛传奇》成功逆袭登顶收入榜,成为收入榜第二十九名。

热点资讯 11.10