科学很难。 如果你想做出新的发现,你不仅需要观察效果、检验你的假设、接受同行评审并发表——你的想法还必须经得起严格的独立测试。
这就是所谓的科学方法,就是这样我们试图消除已发表研究中的大多数侥幸和误报。
但正如最新一集Veritasium 解释道尽管这个过程很漫长,但许多经过同行评审的研究实际上是错误的,它凸显了我们科学研究方式中的一个严重问题。
发生什么了? 很多问题都归结为一个问题:数据不能说明一切,总是需要有人来解释。 不幸的是,人类是一个不可预测的变量。
拿这个2011年论文发表在The 人格与社会心理学杂志例如,名为“感受未来:对认知和情感的异常追溯影响的实验证据”。
在那项研究中,研究人员表示,他们发现了人类可以预测未来的证据……所有这些都是基于这样一个事实:当被要求选择两个窗帘中哪一个背后有图像时,参与者有 53% 的时间选择了正确的答案。
作者声称,如果这只是随机概率,正确猜测的几率将为 50%。
这听起来很假,但事情是这样的——这项研究在统计上是“显着的”,这意味着研究人员对数据进行了处理,得到的 p 值小于 0.05。 换句话说,他们随机得到这个结果的可能性不到 5%。
几十年来,获得 ap > 0.05 的分数一直是决定结果价值的最重要因素,而这个数字通常决定一项研究是否值得发表。
但正如我们之前提到的,这是一个令人难以置信的问题,不仅会产生大量误报,还会使数据受到影响p-黑客攻击- 即对结果进行轻微调整,直到研究人员获得显着结果。
我们会让德里克告诉你通过上面的视频中的内容,因为它非常复杂但很重要,并且绝对值得更仔细地研究。
但这里要知道的重要一点是,大多数科学家并没有恶意这样做——许多错误结果都是系统的症状:获得工作的唯一方法是发表论文,并且您不发表论文不显着或重复结果。
好消息是许多科学家现在认识到有一个科学的可重复性危机,并正在积极寻找改变发布流程并使其更加准确和透明的方法。
我们期待看到接下来会发生什么,因为如果我们需要一件事,那就是我们可以依赖的科学模型。