马斯克发布的Grok-1开源项目,有超过3140亿个参数,是迄今为止最大的。

2024-03-18 热点资讯 关注公众号

当地时间3月17日,特斯拉首席执行官(CEO)马斯克的AI创企xAI正式发布3140亿参数的混合专家模型Grok-1。xAI官方网站称,其遵照Apache 2.0协议开放模型权重和架构。

xAI官方网站截图

据第一财经报道,Grok-1参数量远超OpenAI GPT-3.5的1750亿,是迄今参数量最大的开源大语言模型。

17日,马斯克还在社交平台上发文对OpenAI进行了嘲讽:“告诉我们更多关于OpenAI开放部分的信息。”

2023年11月,xAI官网发布文章,公布了Grok的详细进展。

文章称,Grok是一款仿照《银河系漫游指南》设计的AI,几乎可以回答任何问题,它甚至可以建议要问什么问题。“Grok回答问题时略带机智和叛逆,所以如果你讨厌幽默,请不要使用它”。

xAI官方网站截图

文章介绍说,Grok的一个独特且基本的优势是,它可以通过X平台实时了解世界。它还将回答被其它大多数AI系统拒绝的尖锐问题。

文章指出,Grok仍然是一个非常早期的测试版产品,是“我们在2个月的训练中所能做到的最好产品,期望在您的帮助下每周都能快速改进”。

文章表示,Grok-1的研发经历了四个月。期间,Grok-1经历了多次迭代。“宣布创立xAI后,我们训练了一个330亿参数的LLM原型(Grok-0)。这个早期模型在标准LM测试基准上接近LLaMA 2(70B)的能力,但只使用了一半的训练资源。在过去两个月里,我们在模型的推理和编码能力方面取得了显著进步,Grok-1终于诞生。”

文章称,这是一款功能更为强大的SOTA语言模型,在HumanEval编码任务中达到了63.2%,在MMLU中达到了73%。

为了了解对Grok-1所做的性能改进,xAI使用了一些旨在衡量数学和推理能力的标准机器学习基准,对其进行一系列评估。

在这些基准测试中,Grok-1显示出了强劲的性能,超过了其计算类别中的所有其它模型,包括ChatGPT-3.5和Inflection-1。只有使用大量训练数据和计算资源训练的模型,例如GPT-4,才能超越它。“这展示了我们在高效训练LLM方面取得的快速进展”。

同时,文章也指出,由于这些基准可以在网上找到,并且他们不能排除模型无意中进行了相应的训练。因此,他们在收集完数据集之后,根据去年5月底公布的2023年匈牙利全国高中数学期末考试题,对他们的模型(以及Claude-2和GPT-4模型)进行了人工评分。结果,Grok以C级(59%)通过考试,Claude-2也取得了类似的成绩(55%),而GPT-4则以68%的成绩获得了B级。文章称,他们没有为应对这个考试而特别准备或调整模型。

本文系观察者网独家稿件,未经授权,不得转载。


结论:Tesla首席执行官马斯克的AI创企xAI已经发布了其3140亿参数的混合专家模型Grok-1,远超OpenAI GPT-3.5的1750亿参数。这种庞大的参数量证明了xAI的强大功能和潜在的应用场景。然而,考虑到人类评价标准和模型可能产生的误差,我们需要更深入地研究和评估xAI的表现。此外,我们还需要关注其他大型语言模型的发展,以防止滥用它们带来的风险。总的来说,xAI具有巨大的潜力,但在开发和应用时需要谨慎对待,确保其质量和安全性。

上一篇:优惠套餐令人心动,购买后却接电话延迟、上网慢?电信回应
下一篇:英伟达GTC大会即将开幕,聚焦算力产业链相关催化
更多更酷的内容分享
猜你感兴趣
马斯克怒批OpenAI,最大模型Grok-1开源!参数高达3140亿,4个模态,75万颗星星。

马斯克怒批OpenAI,最大模型Grok-1开源!参数高达3140亿,4个模态,75万颗星星。

马斯克XAI的Grok在七天后开源,参数量高达3140亿,是Llama 2的4倍,其权重和架构已公之于众。

热点资讯 03.18
特斯拉CEO马斯克日前发布了全球最大的开源人工智能模型。这个模型有3140亿个参数,击败了OpenAI的Grok,再次展现了他的创新能力和科技实力。

特斯拉CEO马斯克日前发布了全球最大的开源人工智能模型。这个模型有3140亿个参数,击败了OpenAI的Grok,再次展现了他的创新能力和科技实力。

马斯克宣布开源自家公司的大模型(Grok-1)。该模型参数达到3140亿,为最大开源大模型。王煜全对此表示理解并提出判断未来发展的两个关键因素——趋势和模式。 anthropic公司推出的Claude 3大模型有望影响未来,因其具有多个模态和多agent处理能力。

热点资讯 03.19
马斯克的AI公司今日发布了最新大模型Grok-1,其参数量高达3140亿。这款模型将为AI技术提供强大的支撑。

马斯克的AI公司今日发布了最新大模型Grok-1,其参数量高达3140亿。这款模型将为AI技术提供强大的支撑。

美国埃隆·马斯克旗下的人工智能初创公司xAI发布了其大语言模型Grok-1的基本模型权重和网络架构,并已经开源。

热点资讯 03.18
特斯拉马斯克公开了巨大的Grok参数库。它可以免费使用,并且有超过3140亿的参数。这是一个非常强大的工具!

特斯拉马斯克公开了巨大的Grok参数库。它可以免费使用,并且有超过3140亿的参数。这是一个非常强大的工具!

马斯克指出大模型Grok开源;其原理是混合专家架构,有8个专家,超过密集模型Llama 2的参数量。同时,参数量巨大、需要GPU和内存支持,但工程架构独特,未采用传统深度学习方法。

热点资讯 03.18
中国平替:戴森的强大启示,让你在科技领域焕发出新的火花

中国平替:戴森的强大启示,让你在科技领域焕发出新的火花

徕芬凭借高性价比和大手笔投放,蚕食戴森的市场份额,去年营收突破30亿元。 01徕芬的成功原因包括时机、营销和定价策略。 02徕芬的成功主要体现在其产品定位、价格策略和宣传力度等方面。 03随着更多品牌涌入高速吹风机赛道,价格竞争愈发激烈。 04徕芬开始推出低价产品以应对激烈的市场竞争。 05专家建议国产品牌在追求低价的同时,注重产品研发和质量,以实现行业健康发展。

热点资讯 11.10
三只松鼠:成功的秘诀: 网络营销中的逆袭策略?

三只松鼠:成功的秘诀: 网络营销中的逆袭策略?

三只松鼠收购“爱零食”布局线下门店,计划开设3000家门店。由于线上线下融合的趋势,三只松鼠借助收购进一步加强线下渠道建设。此外,公司还将投资扩建华东零食产业园、西南供应链集约基地等产业基地,构建更完善的线下供应链体系。

热点资讯 11.10
国际能源署「力挺」力挺格力,原来我们真的错怪了董明珠

国际能源署「力挺」力挺格力,原来我们真的错怪了董明珠

中国等地。而董明珠凭借其敏锐的商业嗅觉和前瞻性的眼光,在这个背景下提出了空调发电的概念,并积极推动其技术的研发和应用。然而,在业界和公众看来,她的这一言论被误解为“企业应该具备远见”。但实际上,董明珠的商业预见与国际权威机构的一致性证明了她具有远见和行业洞察力。随着科技的进步和市场需求的变化,空调发电技术将发挥越来越重要的作用,对此问题也引起了新的关注。

热点资讯 11.10
谷歌与苹果发布令人震惊的LLM研究:自主识别错误却装糊涂!AI幻觉背后的真相

谷歌与苹果发布令人震惊的LLM研究:自主识别错误却装糊涂!AI幻觉背后的真相

谷歌和苹果的研究人员发现,LLM知道的远比表现出来的要多,其内部编码正确答案却依旧输出错误内容。 LLM内部表征所包含的真实性信息比以往要多得多,但目前仍存在误导性并难以在不同数据集之间泛化。研究员发现,LLM的检测器可能出现三种错误类型:正确信息采样错误、正确答案频率错误和错误答案频率错误。使用探测器选择答案可以提高大模型在所有检查任务中的准确性。 最终,研究人员解释了大模型内部编码和外部行为之间的差异,包括它们可能在内部编码了正确答案,却持续生成错误答案。此外,研究员还提出了针对这种现象的新方法,以改进机器学习系统的性能。

热点资讯 11.10
抖音小红书AI刷屏:闲鱼只需10元生成一次,却被网友质疑免费功能

抖音小红书AI刷屏:闲鱼只需10元生成一次,却被网友质疑免费功能

抖音、快手和小红书上,一款AI驱动的毒液特效在网络上迅速传播,引起大量用户关注和试玩。 该特效是由国内AI视频公司爱诗科技基于《毒液:最后舞》的限定特效制作的。毒液特效仅需上传一张照片即可生成酷炫的毒液特效视频。虽然官网上的毒液特效实际上为免费提供,但用户仍可体验到高清逼真的特效效果,并通过分享自己的作品获得奖励。 此外,爱诗科技还将推出一系列创新视频玩法,例如根据热门热点和时令节日推出新创意视频等,以便更好地贴近用户需求并拉近与用户的距离。

热点资讯 11.10
内存容量未来走向:DDR4即将退出存储舞台?

内存容量未来走向:DDR4即将退出存储舞台?

内存),是第二代双工高速度内存,主要用于电脑系统的启动、运行和游戏等场景。虽然DDR4技术已经发展到了第八代,但是目前仍占据了主导地位。本文主要讨论了DDR4与DDR5的发展趋势、市场价格以及应用场景。在未来,随着内存技术的进步和市场规模的扩大,预计国内DDR4供应将会达标,而市场上的竞争也将更加激烈。同时,对于普通消费者而言,他们可能会更倾向于选择性价比较高的DDR4内存产品。

热点资讯 11.10
双十一临近,大数据“杀熟”现象亟待警惕!

双十一临近,大数据“杀熟”现象亟待警惕!

提供红包、打折等福利;对于长期活跃的老用户则提供积分兑换、会员专享特权等。此外,平台商家还会设置不同的预售价和定金政策。然而,消费者在购物过程中应学会比较不同渠道的价格,并查看其他用户的评价,以便做出理性的选择。同时,要谨防电商平台利用大数据“杀熟”的手法,比如新老用户的不同价格展示,或者根据消费者的历史行为调整价格。一旦发现自己受到不公平待遇,应及时通过黑猫投诉平台进行反馈和维权。

热点资讯 11.10
人工智能产品的未来发展趋势:从产品演进看AI的潜能和挑战

人工智能产品的未来发展趋势:从产品演进看AI的潜能和挑战

调节”阶段。最后,随着用户对产品的持续优化升级,产品中的自动调节部分成为关键竞争力。比如可以通过APP远程控制,根据用户的习惯调整座椅的高度、角度、倾斜度等功能。这种机器自我调节功能的应用,不仅提升了产品的舒适性,也在一定程度上节省了人力成本。 总体来看,AI的发展趋势可以划分为三个阶段:固定形态阶段(单一功能)、可调节阶段(多功能化)和自动调节阶段(自动化)。在这个过程中,用户的需求和技术创新将不断推动产品演进,最终实现产品的个性化、智能化和高效化。

热点资讯 11.10
Ryzen 9 Pro+超频到惊人的M4 Ultra显卡让苹果再次震惊:是时候升级您的硬件了吗?

Ryzen 9 Pro+超频到惊人的M4 Ultra显卡让苹果再次震惊:是时候升级您的硬件了吗?

事件概述: 本文提到了苹果即将发布的M4 Ultra芯片以及其可能带来的影响,包括可能会超越现有消费级顶级处理器RTX 4090的表现。 主要事件爆发点: 1. 苹果还未发布的M4 Ultra芯片被认为具有惊人的性能。 2. 根据海外媒体的推算,M4 Ultra的GPU性能可能达到M4 Max的1.7倍左右。 3. M4 Ultra在游戏性能方面可能无法与RTX 4090相比。 4. 高通Nuvia内核在GPU市场表现出色,有望成为一匹黑马。 总结:苹果即将发布的M4 Ultra芯片可能会带来惊喜的表现,特别是对GPU性能的提升可能超过目前最强的消费级PC,而与之对比的目前消费级的最强显卡RTX 4090分数较低,因此可能会引发不小的冲击。

热点资讯 11.10
周杰伦晒儿女同框,一家四口温馨甜蜜

周杰伦晒儿女同框,一家四口温馨甜蜜

周杰伦和昆凌在国内旅游晒子女照片,享受生活。昆凌近期没有新戏,将在年底世界巡演结束后继续巡演。周杰伦夫妇重视陪伴孩子成长,孩子在他心中占有重要地位。虽然周杰伦比昆凌大14岁,但昆凌近期也未有演出计划,可能仍会在其他城市举办演唱会。

热点资讯 11.10