开源Grok，不只是对OpenAI的“回击”，马斯克还有更大的谋划

据悉，Grok-1模子参数巨细为3140亿，是迄今为止业界开源参数最大的模子。

马斯克的开源设施激发了业界的普及存眷和热烈接头。外貌上，这一流动像是针对OpenAI的一记“回手”,但从更深的条理来看,还潜匿着马斯克的计谋经营和考量。

据xAI客岁发布的文档，尽量Grok-1在各个测试齐集泛起的结果要比GPT-3.5、Llama2要好，但间隔Palm-2、Claude2和GPT-4如故差了一大截。

因此有说明以为，在劲敌环伺，且Grok难以对抗顶尖大模子的环境下，马斯克选择开源是肯定之举，其考量之一也许是将模子迭代进化的使命交给社区。

开源照旧闭源，一向是AI海潮之下一个极具争议性的话题。有AI专家此前在接管《逐日经济消息》记者采访时以为，开源已是局面所趋。从贸易角度来看，开源不只可以或许停止少数财力雄厚的科技公司节制前沿模子，对付AI创颐魅者来说，也进一步低落了门槛和本钱。

马斯克的“阳谋”：闪开源社区迭代模子

3月18日破晓，马斯克旗下大模子公司xAI公布正式开源3140亿参数的殽杂专家（MoE）模子Grok-1以及该模子的权重和收集架构。制止发稿，在Github上，该开源项目已经揽获31.6k星标，足见其火爆水平。

图片来历：Github

值得留意的是，这是迄今为止业界开源参数最大的模子，高出GPT-3.5其时1750亿的参数目。

DeepMind工程师Aleksa Gordié猜测，Grok-1的手段应该比Llama2要强，但今朝尚不清晰有几多数据受到了污染，二者的参数目也不是一个量级。

从Grok-1的模子细节来看，值得留意的一点是，该基本模子基于大量文本数据举办实习，没有针对任何详细使命举办微调。而在X平台上可用的Grok大模子就是微调过的版本，其举动和原始权重版本并不沟通。也就是说，xAI今朝开源的Grok-1模子并不包罗X平台上的语料。

据xAI客岁发布的文档，从Grok-1的整体测试结果来看，Grok-1在各个测试齐集泛起的结果要比GPT-3.5、70亿参数的Llama2和Inflection-1要好，但间隔Palm-2、Claude2和GPT-4如故差了一大截。

图片来历：xAI

基于此，有说明以为，马斯克开源Grok-1的一个考量是，尽量该模子示意尚可，但“比上不敷，比下有余”，并未具备打败顶尖模子如GPT-4的手段，更别说将来的GPT-5。

在大模子竞赛的当下，尽量Grok依托X平台的数据，但其无论是在手段上，照旧知名度上都不具备与OpenAI、谷歌、Anthropic等公司对抗的上风。尤其是本年以来，谷歌宣布了Gemini，Anthropic宣布了Claude3，大型说话模子的竞争越发剧烈，在这样的环境下，马斯克选择开源蹊径也是肯定之举。

模子开源让研究者和开拓者可以自由地行使、修改和分发模子，打开了更多开放相助和创新的也许性。因此，一次性开源可以将迭代进化的使命交给社区。

正如月之暗面CEO杨植麟在此前接管腾讯采访时暗示，“假如我本日有一个领先的模子，开源出来，或许率不公道。反而是落伍者也许会这么做，可能开源小模子，搅局嘛，横竖不开源也没代价。”

再加上马斯克频仍嘲讽OpenAI并不Open，外媒Venture Beat以为，Grok-1的开源显然对他来说也是一个有益的态度。

不外，针对让社区来实现迭代这一目标，有业内人士在X平台暗示，Grok-1的题目也许是模子参数太大，这必要庞大的计较资源，以是开源社区也许无法对Grok-1举办迭代。

还有评述以为，Grok-1没有对特定使命举办微调，这进步了用户行使它的门槛。AI器材饱和的市场也许更必要针对特定用例的器材。

开源乃局面所趋，初创公司迎来新机遇

开源和闭源是当前AI海潮之下的一个极具争议性的话题。

纽约大学坦登工程学院计较机科学与工程系副传授Julian Togelius在此前接管《逐日经济消息》记者采访时曾以为，开源是业界局面所趋，Meta正在引领这一趋势，其次是Mistral AI、HuggingFace等局限较小的公司。谷歌本年2月有数地改变了客岁僵持的大模子闭源计策，推出了“开源”大模子Gemma，好像也是对Togelius谈吐的验证。

从技能视角来看，开源代码可以进步透明度并有助于推进技能成长，也能辅佐相识模子瑕玷，这样才气更好地陈设模子，从而低落风险。另一方面，也有不少阻挡开源的一派以为，开源AI会被不良举动者哄骗从而造成风险。

从贸易角度来看，Julian Togelius以为开源对防备权利齐集很重要，可以或许停止少数财力雄厚的科技公司节制前沿模子。另外，尚有说明以为，对付创颐魅者来说，开源大模子则进一步低落了创业门槛，低落了大模子的开拓本钱，让更多创颐魅者在基本模子方面处于统一路跑线上。

譬喻，今朝很多开源模子都是基于Meta的开源模子Llama2而开拓。据报道，制止2023年底，HuggingFace上开源的大模子排行榜前十名中，有8个是基于Llama2打造的，行使Llama2的开源大模子已经高出1500个。

Grok-1的权重和架构是在宽松的Apache 2.0容许下宣布的，这使得研究者和开拓者可以自由地行使、修改和分发模子，这种开源方法可以顺应多种差异的使命和应用场景，更得当那些想要用开源模子打造本身专有模子的开拓者。因此，有说明以为，Grok-1的开源也是为很多AI初创公司提供了另一个选择。

譬喻，AI初创公司Abacus AI的CEO就在X平台上暗示，将开始研究Grok-1，并在几周内举办更新/宣布。

图片来历：X平台

对话搜刮引擎公司Perplexity CEO Aravind Srinivas也在X平台上发文称，将会基于Grok的基本模子举办对话式搜刮和推理的微调。

图片来历：X平台

跟着开源力气的不绝壮大，马萨诸塞大学洛厄尔分校计较机科学传授Jie Wang曾对《逐日经济消息》记者暗示，将来各个首要参加者也许都倾向于回收半开源的方法，相同Meta开源Llama2系列大模子的方法，即开源模子的某些部门，以便研究职员和开拓职员相识模子的架构和实习进程，但保存最重要的部门，譬喻用于实习和预实习模子权重的完备数据集。

Grok-1走的也是这样的蹊径。

知名呆板进修研究者Sebastian Raschka以为，“尽量Grok-1比其他凡是带有行使限定的开放权重模子越发开源，可是它的开源水平不如Pythia、Bloom和OLMo，后者附带实习代码和可复现的数据集。”