试图复制发表在两本知名科学期刊上的 21 项社会科学实验的结果,给研究的可靠性带来了危险。
我们应该对一次性研究给予多大的信任这个问题并不新鲜。但所谓的还有一线希望再现性危机我们需要记住——这是一个我们绝对不能错过的机会。
几年前,重点是心理学令人不安的是,许多有影响力的心理学研究在重复时并不总是得出相同的结论。
此后其他科学领域也纷纷效仿。这实验经济学复制项目重做了 2011 年至 2014 年间发表在两本重要经济学期刊上的 18 个实验,发现其中只有 11 个实验结果显着匹配。
美国开放科学与科学交流中心运行的项目一直在慢慢重做关键实验在研究发现,在以 40% 的成功率复制过去的结果时,发现了类似的挑战。
此次,加州理工学院领导的研究团队将目光转向了社会科学,系统地筛选了2010年至2015年间在期刊上发表的论文自然和科学,并重复他们的方法。
他们对协议做了一个小小的改变——在每种情况下,他们测试的样本大小大约是原来的五倍,大大提高了他们的能力。
科学和自然是同行评审界的大人物。将论文发表在这两种期刊上的研究人员知道他们的工作不仅会被更多的人阅读,而且会受到信任。
但这种信任总是有保证的吗?
通过 13 次实验,研究人员发现了一个或多或少与原始研究一致的结论。他们确定同意率在 57% 到 67% 之间,具体取决于您如何定义“同意”。
考虑到影响的大小,结果平均要弱 50%。因此,虽然大多数重复研究都指向与原始研究相同的方向,但原始研究常常夸大了他们的结论。
仅有四篇论文入选自然,但该团队能够复制其中三个。他们无法复制该杂志上十七项研究中的七项科学。
在我们开始行动之前,我们需要将所有这些都放在上下文中。
未能重复发现并不意味着原始发现是错误的。它确实让我们处于一个不稳定的境地,我们很容易对结果提出质疑,并降低我们对其有用性的信心。
无法得出相同的结论也并不意味着数据本身完全无效。背景决定一切,不同的结论可能不会使数据甚至某些发现变得糟糕。
有趣的是,这对社会科学界来说都不是新闻。研究小组进行的一项调查发现,他们能够可靠地预测哪些论文会被复制,哪些不会。
这表明科学界拥有批判性思维能力,可以帮助他们在必要时持保留态度进行一些研究。
尽管如此,显然还有很大的改进空间。这不仅适用于大型期刊,也适用于较小、更小众的出版物。
这些发现可以帮助我们改进用于设计和进行实验的方法,或者找到更好的方法来报告其重要性。
如果两项研究完全不一致,则很可能是潜在的自变量造成了冲突。
这种隐藏在视线之外的神秘影响可能是理解现象的关键。无法复制的科学绝不是糟糕的科学,而是可能为新科学指明道路。
为了利用这一点,我们需要认真审视资助和开展科学研究的方式。复制所有内容可能并不可行,但我们如何确定可以从重复中获得最大收益的优先顺序?
一些研究人员已经建议对我们的报告方式进行更改在统计显着性方面,设定更严格的界限,可以在发表之前排除不太令人信服的结论。
其他人则认为我们需要登记我们的发布意图在我们完成一项研究之前,消除将似乎未按计划进行的实验归档的诱惑,从而提供对研究前景的更准确的了解。
答案就在那里,科学更能解答这些难题。
忘记称其为危机。这是可重复性的机会,我们希望它能带来一些好的结果。
这项研究发表于自然人类行为。