马斯克发布的Grok-1开源项目,有超过3140亿个参数,是迄今为止最大的。

2024-03-18 热点资讯 关注公众号

当地时间3月17日,特斯拉首席执行官(CEO)马斯克的AI创企xAI正式发布3140亿参数的混合专家模型Grok-1。xAI官方网站称,其遵照Apache 2.0协议开放模型权重和架构。

xAI官方网站截图

据第一财经报道,Grok-1参数量远超OpenAI GPT-3.5的1750亿,是迄今参数量最大的开源大语言模型。

17日,马斯克还在社交平台上发文对OpenAI进行了嘲讽:“告诉我们更多关于OpenAI开放部分的信息。”

2023年11月,xAI官网发布文章,公布了Grok的详细进展。

文章称,Grok是一款仿照《银河系漫游指南》设计的AI,几乎可以回答任何问题,它甚至可以建议要问什么问题。“Grok回答问题时略带机智和叛逆,所以如果你讨厌幽默,请不要使用它”。

xAI官方网站截图

文章介绍说,Grok的一个独特且基本的优势是,它可以通过X平台实时了解世界。它还将回答被其它大多数AI系统拒绝的尖锐问题。

文章指出,Grok仍然是一个非常早期的测试版产品,是“我们在2个月的训练中所能做到的最好产品,期望在您的帮助下每周都能快速改进”。

文章表示,Grok-1的研发经历了四个月。期间,Grok-1经历了多次迭代。“宣布创立xAI后,我们训练了一个330亿参数的LLM原型(Grok-0)。这个早期模型在标准LM测试基准上接近LLaMA 2(70B)的能力,但只使用了一半的训练资源。在过去两个月里,我们在模型的推理和编码能力方面取得了显著进步,Grok-1终于诞生。”

文章称,这是一款功能更为强大的SOTA语言模型,在HumanEval编码任务中达到了63.2%,在MMLU中达到了73%。

为了了解对Grok-1所做的性能改进,xAI使用了一些旨在衡量数学和推理能力的标准机器学习基准,对其进行一系列评估。

在这些基准测试中,Grok-1显示出了强劲的性能,超过了其计算类别中的所有其它模型,包括ChatGPT-3.5和Inflection-1。只有使用大量训练数据和计算资源训练的模型,例如GPT-4,才能超越它。“这展示了我们在高效训练LLM方面取得的快速进展”。

同时,文章也指出,由于这些基准可以在网上找到,并且他们不能排除模型无意中进行了相应的训练。因此,他们在收集完数据集之后,根据去年5月底公布的2023年匈牙利全国高中数学期末考试题,对他们的模型(以及Claude-2和GPT-4模型)进行了人工评分。结果,Grok以C级(59%)通过考试,Claude-2也取得了类似的成绩(55%),而GPT-4则以68%的成绩获得了B级。文章称,他们没有为应对这个考试而特别准备或调整模型。

本文系观察者网独家稿件,未经授权,不得转载。


结论:Tesla首席执行官马斯克的AI创企xAI已经发布了其3140亿参数的混合专家模型Grok-1,远超OpenAI GPT-3.5的1750亿参数。这种庞大的参数量证明了xAI的强大功能和潜在的应用场景。然而,考虑到人类评价标准和模型可能产生的误差,我们需要更深入地研究和评估xAI的表现。此外,我们还需要关注其他大型语言模型的发展,以防止滥用它们带来的风险。总的来说,xAI具有巨大的潜力,但在开发和应用时需要谨慎对待,确保其质量和安全性。

上一篇:优惠套餐令人心动,购买后却接电话延迟、上网慢?电信回应
下一篇:英伟达GTC大会即将开幕,聚焦算力产业链相关催化
更多更酷的内容分享
猜你感兴趣
马斯克怒批OpenAI,最大模型Grok-1开源!参数高达3140亿,4个模态,75万颗星星。

马斯克怒批OpenAI,最大模型Grok-1开源!参数高达3140亿,4个模态,75万颗星星。

马斯克XAI的Grok在七天后开源,参数量高达3140亿,是Llama 2的4倍,其权重和架构已公之于众。

热点资讯 03.18
马斯克的AI公司今日发布了最新大模型Grok-1,其参数量高达3140亿。这款模型将为AI技术提供强大的支撑。

马斯克的AI公司今日发布了最新大模型Grok-1,其参数量高达3140亿。这款模型将为AI技术提供强大的支撑。

美国埃隆·马斯克旗下的人工智能初创公司xAI发布了其大语言模型Grok-1的基本模型权重和网络架构,并已经开源。

热点资讯 03.18
特斯拉CEO马斯克日前发布了全球最大的开源人工智能模型。这个模型有3140亿个参数,击败了OpenAI的Grok,再次展现了他的创新能力和科技实力。

特斯拉CEO马斯克日前发布了全球最大的开源人工智能模型。这个模型有3140亿个参数,击败了OpenAI的Grok,再次展现了他的创新能力和科技实力。

马斯克宣布开源自家公司的大模型(Grok-1)。该模型参数达到3140亿,为最大开源大模型。王煜全对此表示理解并提出判断未来发展的两个关键因素——趋势和模式。 anthropic公司推出的Claude 3大模型有望影响未来,因其具有多个模态和多agent处理能力。

热点资讯 03.19
特斯拉马斯克公开了巨大的Grok参数库。它可以免费使用,并且有超过3140亿的参数。这是一个非常强大的工具!

特斯拉马斯克公开了巨大的Grok参数库。它可以免费使用,并且有超过3140亿的参数。这是一个非常强大的工具!

马斯克指出大模型Grok开源;其原理是混合专家架构,有8个专家,超过密集模型Llama 2的参数量。同时,参数量巨大、需要GPU和内存支持,但工程架构独特,未采用传统深度学习方法。

热点资讯 03.18
合肥国控:本轮反弹行情中抄底了吗?, 合肥国控:新一轮反弹行情中的稳健投资策略分析, 安徽国资:抄底的最佳时机分析, 如何看待安徽国控在反弹行情中的投资策略?

合肥国控:本轮反弹行情中抄底了吗?, 合肥国控:新一轮反弹行情中的稳健投资策略分析, 安徽国资:抄底的最佳时机分析, 如何看待安徽国控在反弹行情中的投资策略?

欧菲光在智能手机镜头模组市场遭遇困境,终止与苹果的合作关系。然而,在此期间,合肥市国有资本企业合肥建投和合肥合屏获得了配额,为其定向增发提供资金和土地支持。后续公告显示,欧菲光成功募得35.3亿元资金,并将用于车载业务基地的建设。这标志着合肥市采取行动支持欧菲光,帮助其度过难关。

热点资讯 11.23
通胀预期持续上升!美联储或将面临罕见的降息压力

通胀预期持续上升!美联储或将面临罕见的降息压力

预测同比增长率从目前的2.9%提高至3.7%。不过,由于新冠疫情的影响和政策不确定性,经济学家普遍预计这一增长率将在2025年内逐渐放缓。此外,由于特朗普政府的诸多提议可能会带来额外的需求,例如出口刺激、税收减免等,这些因素也可能对未来的GDP增长产生影响。综合来看,明年将是美联储面临一系列复杂挑战的一年,其中尤为引人关注的是如何应对不断上升的通胀和经济增速的问题。

热点资讯 11.23
拼多多高管黄峥财富缩水超两万亿,遭钟睒睒炮轰增长放缓

拼多多高管黄峥财富缩水超两万亿,遭钟睒睒炮轰增长放缓

拼多多第三季度营收增长,净利润下降,公司CEO黄峥财富缩水,市场份额受到质疑,拼多多面临长期挑战。 拼多多创始人黄峥财富缩水,拼多多面临巨大挑战,市场份额面临质疑。

热点资讯 11.23
京东方联手燕东微启动12英寸晶圆项目,争夺中国半导体市场份额的关键之战

京东方联手燕东微启动12英寸晶圆项目,争夺中国半导体市场份额的关键之战

京东方与燕东微计划共同出资70亿元,投资建设12英寸晶圆生产线项目,将填补国内高端晶圆市场供给缺口,推动中国集成电路产业的发展,并助力北京产业升级。其中,燕东微将持股51%,而京东方则占股49%。这一项目的总投资预计将在2024年启动,2026年底实现量产,2030年达到满产,以满足高端12英寸晶圆市场的需求。该项目对京东方和燕东微来说都是重要的战略布局,也有助于推动国内集成电路产业的发展。

热点资讯 11.23
金融帝国:探讨‘疯狂’的商业银行商业模式与前景

金融科技风暴:商业银行的新角色和未来趋势分析

金融帝国:探讨‘疯狂’的商业银行商业模式与前景 金融科技风暴:商业银行的新角色和未来趋势分析

不多于五次。这些存款产品通常被视为短期贷款,且流动性较差。此外,由于监管要求金融机构必须遵守信用风险和风险管理规定,故商业银行可能被迫降低或取消此类业务。目前,在这些内卷化的银行业中,存在着一些违规行为和不公平现象。例如,一些银行过度追求市场份额,导致过度借款,最终可能导致资产损失;同时,部分银行则为了获得更高的收入而采取不正当的揽储策略,包括使用“现金贷”等。这些问题对于金融市场的稳定性和政府的调控都构成了威胁。因此,应当加强对银行业金融机构的监管力度,打击各种形式的违规行为,保障银行的稳健经营和发展。

热点资讯 11.23
蒋凡回归,开启全新篇章

蒋凡回归,开启全新篇章

阿里巴巴集团CEO吴泳铭宣布成立阿里电商事业群,任命蒋凡担任CEO,全面整合淘宝天猫集团、国际数字商业集团等业务,预计将进一步提升阿里在电商界的竞争地位。

热点资讯 11.23
业内消息:OpenAI正与三星洽谈合作,进军人工智能领域

业内消息:OpenAI正与三星洽谈合作,进军人工智能领域

OpenAI正与三星洽谈合作,有望在Galaxy手机中搭载多项AI功能。

热点资讯 11.23
国家数据局:到2029年基本建成国家数据基础设施主体结构 | 银河通用机器人获5亿元战略融资

更改为:国家数据局发展规划: 2029年建成国家数据基础设施主体结构 | 银河通用机器人获得5亿战略融资

国家数据局:到2029年基本建成国家数据基础设施主体结构 | 银河通用机器人获5亿元战略融资 更改为:国家数据局发展规划: 2029年建成国家数据基础设施主体结构 | 银河通用机器人获得5亿战略融资

75G

热点资讯 11.23
越南电商公司Shein因假货争议受阻,东南亚各国强化跨境电商监管

越南电商公司Shein因假货争议受阻,东南亚各国强化跨境电商监管

在中国和新加坡两国的支持下,泰国电子商务巨头Shopee正在与越南工贸部洽谈业务注册事宜。然而,由于缺乏必要的手续,Shopee等跨境电商平台将在越南结束业务,并面临被封锁的应用程序及域名的问题。虽然部分博弈已完成,但一旦注册失败,将对企业造成严重影响。此外,电商平台还需面对来自东南亚其他国家的监管加强。因此,电商平台必须做好充分准备,以应对可能出现的挑战。

热点资讯 11.23
探讨电商与汽车企业家的智慧与盲目:我选择圆润幸福的企业之路

探讨电商与汽车企业家的智慧与盲目:我选择圆润幸福的企业之路

"胖东来创始人于东来表示要活得圆润幸福,并呼吁大家少走弯路,活出自己的美好。"

热点资讯 11.23