donut8449/Shutterstock.com
一项由世界各地 100 名科学家参与的里程碑式研究试图复制来自高排名心理学期刊的 270 篇最新研究结果,但根据一项衡量标准,只有 36% 得出了相同的结果。 这意味着超过一半的研究,当科学家使用相同的方法时,他们无法得出相同的结果。
“尽管使用了原作者提供的材料、提前审查了方法的保真度以及检测原始效应大小的高统计能力,但大部分重复实验为原始发现提供了较弱的证据,”该团队报告科学今天。
这项研究的组织方式是让来自世界各地的几个团队从三份领先的心理学期刊之一的 2008 年版中选择一个实验,然后尽可能严格地遵循最初的方法。 他们被告知如果可能的话也要与主要作者联系,这样他们就可以更好地了解事情第一次是如何完成的。
虽然最初报告的 100 项研究中有 97 项结果 -Ed Yong 解释道大西洋组织因为“如果你再次进行这项研究,你侥幸获得相同结果(或更好)的几率将小于二十分之一”——其中只有 36 个结果可以在第二次重复时具有统计显着性。
这些论文来自最好的期刊——最难发表的期刊。如果这些研究来自所有可用的心理学期刊,结果可能会更糟。
“成功率比我想象的要低,”斯坦福大学的约翰·约安尼迪斯(John Ioannidis),这篇被广泛引用的论文的作者,为什么大多数已发表的研究结果都是错误的,告诉勇。 “看到我的一些预测得到验证,我感到很难过。我希望它们被证明是错误的。”
但这并不意味着 2008 年最引人注目的心理学研究中有三分之二的结果是错误的。 即使结果无法被复制,也不能否认原始发现可能有一定道理的事实,但与所有尚未经过独立验证和复制的研究一样,它们需要被采纳与一粒盐。
虽然社会心理学研究着眼于某些事物如何影响行为,但其可重复性低于认知研究,认知研究着眼于大脑在存储记忆、学习新事物等时的功能,但这并不是唯一的领域科学在经历复制绞尽脑汁时会受到影响。
就在昨天我们报道了对气候逆向论文的回顾——不同意以下共识的期刊文章很可能是由人类活动引起的——发现他们充满了方法论错误,这使得他们的发现无法复制。 而今年早些时候,一项单独的研究发现不可重复的临床前研究的普遍性超过 50%,“仅在美国,每年就在不可重复的临床前研究上花费约 28,0 亿美元”。
因此,今天的研究不应被视为表明心理学是一门不太可靠的科学。 科学最基本的层面是关于假设、测试、验证和重新测试的过程,虽然这些 2008 年的实验一开始就应该完成,但迟做总比不做好。 “事实上,这些研究人员试图分析他们自己学科研究结果的可信度,这一事实无疑表明了他们对科学严谨性的承诺。”Victoria Turk 在 Motherboard 上指出。
正如你可以想象的那样,这些研究在没有重复的情况下发表的背后原因非常复杂,但 Ed Yong 解决了主要问题那些在他的大西洋文章。这很大程度上取决于人类想要答案,而科学没有义务给出答案。正如今天的作者科学研究指出:“人类渴望确定性,而科学很少提供确定性。尽管我们可能希望情况并非如此,但一项研究几乎从未提供支持或反对某种效应及其解释的明确解决方案。”