科学发现是人类最复杂的活动之一。首先,科学家必须了解现有的知识并找出重大的差距。
接下来,他们必须提出一个研究问题,并设计和开展实验以寻找答案。
然后,他们必须分析和解释实验结果,这可能会引发另一个研究问题。
如此复杂的过程能实现自动化吗?上周,Sakana AI Labs 宣布创造“人工智能科学家”——他们声称该系统可以在以完全自动化的方式。
通过使用 ChatGPT 和其他 AI 聊天机器人背后的生成大型语言模型 (LLM),该系统可以集思广益、选择一个有前途的想法、编写新算法、绘制结果,并撰写总结实验及其发现的论文,并附上参考文献。
Sakana 声称,该人工智能工具可以完成一项科学实验的整个生命周期,每篇论文的成本仅为 15 美元——比科学家一顿午餐的费用还低。
这些都是大论。它们站得住脚吗?即使它们站得住脚,一大批以超人速度发表研究论文的人工智能科学家真的对科学来说是好消息吗?
计算机如何“进行科学研究”
很多科学研究都是公开进行的,几乎所有的科学知识都已被记录在某个地方(否则我们就没有办法“知道”它)。数以百万计的科学论文可以在以下存储库中免费获取:论文集和PubMed。
用这些数据训练的法学硕士能够捕捉科学语言及其模式。因此,生成式法学硕士能够写出看起来像优秀科学论文的东西也许并不奇怪——它吸收了许多可以复制的例子。
目前尚不清楚的是,人工智能系统是否能够产生有趣的科学论文。至关重要的是,好的科学需要新颖性。
但它有趣吗?
科学家不想被告知已知的事物。相反,他们想学习新事物,尤其是与已知事物有显著不同的新事物。这需要判断贡献的范围和价值。
Sakana 系统试图通过两种方式解决趣味性问题。首先,它根据新论文想法与现有研究的相似性(索引在语义学者存储库)。任何过于相似的内容都会被丢弃。
其次,Sakana 的系统引入了““步骤——使用另一个 LLM 来判断生成的论文的质量和新颖性。同样,在以下网站上有很多同行评审的例子开放评论网可以指导如何评论论文。法学硕士也吸收了这些。
人工智能可能无法很好地判断其输出结果
关于 Sakana AI 的输出,反馈褒贬不一。有些人认为它产生了“无尽的科学谬误“。
即使是系统自己对输出的审查也最多只能判定论文质量很差。随着技术的发展,这种情况可能会有所改善,但自动化科学论文是否有价值的问题仍然存在。
法学硕士能否判断研究质量也是一个悬而未决的问题。我自己的著作(即将在研究综合方法) 表明,法学硕士并不擅长判断医学研究中的偏见风险,尽管这种情况也可能随着时间的推移而改善。
Sakana 的系统可自动进行计算研究发现,这比其他需要进行物理实验的科学类型容易得多。Sakana 的实验是用代码完成的,代码也是 LLM 可以训练生成的结构化文本。
人工智能工具将支持科学家,而不是取代他们
几十年来,人工智能研究人员一直在开发支持科学的系统。鉴于已发表的研究数量巨大,即使找到与特定科学问题相关的出版物也很有挑战性。
专门的搜索工具利用人工智能帮助科学家查找和综合现有成果。这些工具包括上述的 Semantic Scholar,以及一些较新的系统,例如引出,研究兔,知道和共识。
文本挖掘工具例如出版者深入研究论文,找出重点,例如特定的基因突变和疾病,以及它们之间的既定关系。这对于整理和组织科学信息特别有用。
机器学习还被用于支持医学证据的综合和分析,例如机器人审稿人. 对来自以下论文的主张进行比较和对比的摘要:学术帮助进行文献综述。
所有这些工具的目的都是帮助科学家更有效地完成工作,而不是取代他们。
人工智能研究可能会加剧现有问题
而坂名AI州尽管该公司并不认为人类科学家的作用正在减弱,但其“完全由人工智能驱动的科学生态系统”的愿景将对科学产生重大影响。
一个令人担忧的问题是,如果人工智能生成的论文充斥着科学文献,未来的人工智能系统可能会接受人工智能输出的训练,并经历模型崩溃。这意味着他们可能越来越无法进行创新。
然而,其对科学的影响远远超出了对人工智能科学系统本身的影响。
科学界已经出现了一些不良分子,包括大量生产假文件.这个问题只会变得更糟只需 15 美元和一个模糊的初始提示就可以撰写一篇科学论文。
检查大量自动生成的研究中的错误的需求可能会迅速压垮实际科学家的能力。同行评审系统可以说是已经坏了,将更多质量可疑的研究投入到系统中并不能解决这个问题。
科学从根本上来说建立在信任的基础上。科学家强调科学过程的完整性,因此我们可以确信我们对世界(以及现在对世界机器)的理解是正确且不断改进的。
以人工智能系统为主要参与者的科学生态系统引发了一些根本性问题,即这一过程的意义和价值,以及我们应该对人工智能科学家抱有何种程度的信任。这是我们想要的科学生态系统吗?
卡琳·韦斯普尔皇家墨尔本理工大学计算机技术学院院长皇家墨尔本理工大学 (RMIT University)