OpenAI 的下一代大讲话模子「Orion」可能碰到了前所未有的瓶颈。
据 The Information 报谈，OpenAI 的里面职工称 Orion 模子的性能进步莫得达到预期，与从 GPT-3 到 GPT-4 的升级比较，质地进步要「小得多」。
此外，他们还线路 Orion 在处理某些任务时并不比其前身 GPT-4 更可靠。尽管 Orion 在讲话妙技上更强，但在编程方面可能无法卓越 GPT-4。
▲图源：WeeTech
报谈指出，老到高质地文本和其他数据的供应正在减少，这使得找到好的老到数据变得愈加贫困，从而减缓了大讲话模子（LLMs）在某些方面的发展。
不仅如斯，翌日的老到将愈加花消意象资源、财力甚而电力。这意味着开导和运行 Orion 以及后续大讲话模子的老本和代价将变得愈加腾贵。
OpenAI 的商酌员诺姆 · 布朗（Noam Brown）最近在 TED AI 大会上就线路，更先进的模子可能「在经济上弗成行」：
咱们确实要花费数千亿好意思元或数万亿好意思元老到模子吗？ 在某个时候，彭胀定律会崩溃。
对此，OpenAI 仍是成立了一个由认真预老到的尼克 · 雷德（Nick Ryder）诱骗的基础团队，来商酌若何应付老到数据的匮乏，以及大模子的彭胀定律（scaling laws）将执续到什么时候。
▲ Noam Brown
彭胀定律（scaling laws）是东谈主工智能领域的一个中枢假定：只消有更多数据可供学习，并有更多的意象才智来促进老到经由，大讲话模子就能不息以换取的速率进步性能。
肤浅来说，scaling laws 形色了参预（数据量、意象才智、模子大小）和产出之间的关系，即咱们对大讲话模子参预更多资源时，其性能进步的进度。
例如来讲，老到大讲话模子就像在车间坐褥汽车。率先车间畛域很小，只消几台机器和几个工东谈主。这时，每增多一台机器或一个工东谈主，齐能显贵提高产量，因为这些新增资源平直颐养为坐褥才智的进步。
跟着工场畛域的扩大，每增多一台机器或工东谈主带来的产量进步脱手减少。可能是因为处分变得愈加复杂，大致工东谈主之间的相助变得愈加贫困。
当工场达到一定例模后，再增多机器和工东谈主可能对产量的进步荒谬有限。这时，工场可能仍是接近地皮、电力供应和物流等的极限，增多的参预不再能带来成比例的产出增多。
而 Orion 的逆境就在于此。跟着模子畛域的增多（访佛增多机器和工东谈主），在初期和中期，模子的性能进步可能荒谬显著。但到了后期，即使不息增多模子大小或老到数据量，性能的进步也可能越来越小，这便是所谓的「撞墙」。
一篇近期发表在 arXiv 上的论文也线路，跟着对全球东谈主类文本数据需求的增长和现存数据量的有限性，瞻望到 2026 年至 2032 年之间，大讲话模子的发展将耗尽现存的全球东谈主类文本数据资源。
▲图源：arXiv
即使诺姆 · 布朗指出了翌日模子老到的「经济问题」，但他如故对以上不雅点线路反对。他以为「东谈主工智能的发展不会很快放缓」。
OpenAI 的商酌东谈主员也大齐欢喜这种看法。他们以为，尽管模子的彭胀定律可能放缓，但依靠优化推理时辰和老到后改造，AI 的合座发展不会受到影响。
此外，Meta 的马克 · 扎克伯格、OpenAI 的山姆 · 奥特曼和其他 AI 开导商的首席奉行官也公开线路，他们尚未达到传统彭胀定律的极限，何况仍在开导腾贵的数据中心以进步预老到模子的性能。
▲ Sam Altman（图源：Vanity Fair）
OpenAI 的产物副总裁彼得 · 韦林德（Peter Welinder）也在社媒上线路「东谈主们低估了测试时意象的庞大功能」。
测试时意象（TTC）是机器学习中的一个意见，它指的是在模子部署后，对新的输入数据进行推理或预测时所进行的意象。这与模子老到阶段的意象是分开的，老到阶段是指模子学习数据阵势和作念出预测的阶段。
在传统的机器学习模子中，一朝模子被老到好并部署，它每每不需要非凡的意象来对新的数据实例作念出预测。干系词在某些更复杂的模子中，如某些类型的深度学习模子，可能需要在测试时（即推理时）进行非凡的意象。
例如，OpenAI 所开导的「o1」模子就使用了这种推理阵势。实质上，总共这个词 AI 产业界正将要点转向在脱手老到后再对模子进行进步的阵势。
▲ Peter Welinder（图源：Dagens industri）
对此，OpenAI 的集中首创东谈主之一伊利亚 · 苏茨克弗（Ilya Sutskever）最近在接纳路透社采访时承认，通过使用多半未符号数据来老到东谈主工智能模子，以使其协调讲话阵势和结构的预老到阶段，后来果进步已趋于安稳。
伊利亚线路「2010 年代是彭胀的时间，当今咱们再次回到了探索和发现的时间」，何况指出「扩大正确的畛域比以往任何时候齐愈加遑急」。
Orion 瞻望将在 2025 年推出。OpenAI 将其定名为「Orion」而非「GPT-5」星空app，这也许默示着一场新的转换。固然暂时受表面规定而「难产」，咱们仍然期待着这个领有新名字的「更生儿」能给 AI 大模子带来新的改换。