当前的方法最近对行业专家的调查显示,(AI)不太可能创建与人类智能相匹配的模型。
在对调查的475名AI研究人员中,有76%的人说,大型语言模型(LLMS)的扩展是“不太可能”或“极不可能”实现(AGI),一个假设的里程碑,机器学习系统可以比人类有效或更好地学习。
这是对科技行业预测的一个值得注意的解雇,因为自2022年的生成AI繁荣以来,一直坚持认为,当前最新的AI模型只需要更多的数据,硬件,能源和金钱来抑制人类的智能。
现在,随着最近的模型发布出现 到 凝滞,大多数研究人员受到调查人工智能发展协会相信科技公司已经到了死胡同 - 金钱不会使他们摆脱困境。
“我认为自GPT-4发行后不久以来就显而易见了,从缩放收益是渐进且昂贵的,”斯图尔特·罗素(Stuart Russell)加利福尼亚大学伯克利分校的计算机科学家帮助组织了报告。 “ [AI公司]已经投资了太多,并且无法承认他们犯了一个错误,并且当他们不得不偿还投入数千亿美元的投资者时,他们就会跌落了几年。因此,他们所能做的就是翻倍。”
回报减少
近年来,对LLM的惊人改进部分归功于其基础变压器架构。这是一种深度学习体系结构,最初是由Google Scientist于2017年创建的,它通过吸收来自人类投入的培训数据而增长和学习。
这使模型能够从其神经网络(机器学习算法的集合来模仿人脑学习的方式)中产生概率模式,并在给出提示时向前喂养它们,并通过更多数据来提高其准确性的答案。
有关的:
但是,这些模型的持续扩展需要吸引人的金钱和能源。生成的AI行业筹集了560亿美元仅在2024年全球风险投资中自2018年以来增加了两倍。
预测还表明,有限的人类生成的数据对于进一步的增长必不可少。一旦发生这种情况,替代方案将是开始从用户收集私人数据或将AI生成的“合成”数据馈回到模型中从吞下自己的输入后创建的错误。
调查专家说,当前模型的局限性可能不仅是因为它们是渴望资源的,而且还因为其架构的根本局限性。
罗素说:“我认为当前方法的基本问题是,它们都涉及培训大型前馈电路。” “电路具有基本的局限性作为表示概念的一种方式。这意味着电路必须巨大的代表以代表此类概念,即使是一张荣耀的查找表 - 这会导致巨大的数据要求和零散的差距表示。容易击败“超人” GO计划。
AI发展的未来
所有这些瓶颈都为致力于提高AI绩效的公司面临着重大挑战,从而在评估基准中取得了分数到 高原一些受访者说,传闻传闻的GPT-5模型从未出现过。
中国公司DeepSeek今年也削弱了可以通过缩放进行改进的假设,该公司与硅谷昂贵的车型的性能相匹配。由于这些原因,调查的受访者中有79%表示,对AI能力的看法与现实不符。
罗素说:“有许多专家认为这是一个泡沫。” “特别是当免费提供合理高性能模型时。”
但是,这并不意味着AI的进步已经死了。推理模型 - 专门的模型,这些模型将更多时间和计算能力用于查询 - 已显示出来产生更准确的响应比他们的传统前辈。
受访者说,这些模型与其他机器学习系统的配对,尤其是在将其蒸馏到专门的秤之后,这是一个令人兴奋的途径。 Deepseek的成功指出在AI系统的设计中。专家还指出,概率编程具有比当前电路模型更接近AGI的潜力。
“行业正在大致下注,即生成AI的高价值应用,”托马斯·迪特里奇(Thomas Dietterich)为该报告做出了贡献的俄勒冈州立大学计算机科学名誉教授告诉Live Science。 “过去,大技术进步需要10到20年才能表现出巨大的回报。”
他补充说:“第一批公司通常会失败,所以看到当今的许多Genai创业公司失败了,我不会感到惊讶。” “但是似乎有些人可能会取得巨大的成功。我希望我知道哪些。”