腾讯科技讯 3月18日消息，据国外媒体报道，美国当地时间上周日，埃隆·马斯克（Elon Musk）旗下人工智能初创公司xAI发布了其大语言模型Grok-1的基本模型权重和网络架构。

xAI在官方网站上宣称，Grok-1是由该公司从头开始训练、拥有3140亿参数的混合专家模型。

xAI表示，这是Grok-1预训练阶段的原始基础模型检查点（Checkpoint，指在特定时间点保存模型状态的操作，以便在未来某个时间点恢复模型状态），该阶段于2023年10月结束。这意味着该模型没有针对任何特定的应用程序（例如对话）进行微调。

xAI正在Apache 2.0许可下发布权重和架构。该模型的细节包括：

• 1 在大量文本数据上训练的基础模型，没有针对任何特定任务进行微调
• 2 3140亿参数混合专家模型，在给定Token上活动的权重为25%
• 3 2023年10月，xAI使用JAX和Rust之上的自定义训练堆栈从头开始训练

延展阅读：

为何要开源Grok？美媒：马斯克别无他法，否则将打自己脸

根据xAI发布的数据，Grok-1的大语言模型具有3140亿参数的混合专家模型，这是非常强大的语言处理工具。然而，这也让许多人开始担忧，因为马斯克曾公开表示，他对技术有绝对的信心，并且经常声称他的公司在未来将超越其他科技巨头。
因此，对于未来的XAI来说，他们需要保持警惕。他们应该继续收集更多的数据来训练他们的模型，并且在微调模型时更加小心。此外，他们也应该考虑开放他们的代码库，让更多的人可以参与到这个项目中来。
总的来说，虽然Grok-1是一个强大而创新的技术，但是它也带来了许多挑战。为了确保这个项目能够成功，马斯克和他的团队需要采取正确的步骤，以保护他们的技术，并使其成为我们所有人都能使用的工具。