当前位置:主页行业资讯 > > 正文

GPT-4 由 8 个 MoE 模型组成,真的吗?-头条

时间: 2023-06-26 12:25:08 来源: 商业新知网


(资料图)

让大家没想到的是,被传的神乎其神的GPT-4依旧是大力出奇迹的产物。回到ensemble的老路上去了,OpenAI一直在画的AGI的大饼感觉又离我们远了。

黑客 George Hotz 在一个播客中透露,GPT-4 是由 8 个 2200 亿参数的 MoE 模型组成的,每个模型都针对不同的数据和任务分布进行了训练,然后通过一些小技巧将它们混合起来。他还说,这样做是因为单个模型的参数规模已经达到了极限,而且训练时间越长效果越差,所以他们采用了多模型集成的方法来提高性能。他认为,OpenAI 对此保密的原因是不想让别人知道他们的模型并不是那么先进,只要花更多的钱就能复制。

这个说法得到了 PyTorch 创始人 Soumith Chintala 的认可2,他表示自己也听过类似的传闻,但只有 George Hotz 在公开场合说出来了。不过,也有人对这个说法表示怀疑或质疑134,认为这样的模型推理成本太高,而且没有充分利用 GPT-4 的潜力。目前,OpenAI 还没有对这个爆料做出任何回应或证实。

这件事情很可能是真的,理由如下:

已知的Prior:

1.多个信源认为GPT4比GPT3.5参数量大至少一个数量级,也就是1.7万亿以上。

2. OpenAI去年六月发表过技术报告说他们训练LLM用了MoE.

现在的观测:

有人说GPT4是一个1.76万亿参数的MoE

网友得知秘诀后,打算自己也要训练一个LLaMA集合体与GPT-4竞争。

关键词:

相关文章

GPT-4 由 8 个 MoE 模型组成,真的吗?-头条

回到ensemble的老路上去了,OpenAI一直在画的AGI的大饼感觉又离我们远了。

来源:商业新知网2023-06-26

天天动态:开放创新平台的现状、意义及未来 同盾科技出席新一代人工智能开放创新平台高峰论坛

6月25日,2023全球人工智能产品应用博览会在苏州盛大启幕,新一代人工智

来源:快科技2023-06-26

内容正在升级改造,请稍后再试! 当前速讯

内容正在升级改造,请稍后再试!【免责声明】本文仅代表合作供稿方观点

来源:和讯2023-06-26

曾比特佛山开唱歌单升级,再唱《单车》惊喜不断

曾比特佛山开唱歌单升级,再唱《单车》惊喜不断

来源:娱乐新闻资讯2023-06-26

坎为水卦解 坎卦为水剑三

1、我天卦九五,至尊卦,但有个屁用。2、刷副本解毒药刷了100次都没刷

来源:互联网2023-06-25