donut8449/Shutterstock.com
一項由來自世界各地的 100 名科學家參與的具有里程碑意義的研究試圖複製來自高排名心理學期刊的 270 篇最新研究結果,但根據一項衡量標準,只有 36% 得出了相同的結果。這意味著超過一半的研究,當科學家使用相同的方法時,他們無法得到相同的結果。
“儘管使用了原作者提供的材料、提前審查了方法的保真度以及檢測原始效應大小的高統計能力,但大部分重複實驗為原始發現提供了較弱的證據,”該團隊報告科學今天。
這項研究的組織方式是讓來自世界各地的幾個團隊從三份領先的心理學期刊之一的 2008 年版中選擇一個實驗,然後儘可能嚴格地遵循最初的方法。他們被告知如果可能的話也要與主要作者聯繫,這樣他們就可以更好地了解事情第一次是如何完成的。
雖然最初報告的 100 項研究中有 97 項結果 -Ed Yong 解釋道大西洋月刊因為「如果你再次進行這項研究,你僥倖獲得相同結果(或更好)的幾率將小於二十分之一」——其中只有 36 個結果可以在第二次重複時具有統計顯著性。
這些論文來自最好的期刊——最難發表的期刊。
「成功率比我想像的要低,」史丹佛大學的約翰·約安尼迪斯(John Ioannidis),這篇被廣泛引用的論文的作者,為什麼大多數已發表的研究結果都是錯的,告訴勇。 “看到我的一些預測得到驗證,我感到很難過。我希望它們被證明是錯誤的。”
但這並不意味著 2008 年最引人注目的心理學研究中有三分之二的結果是錯誤的。即使結果無法被複製,也不能否認原始發現可能有一定道理的事實,但與所有尚未經過獨立驗證和複製的研究一樣,它們需要被採納與一粒鹽。
雖然社會心理學研究著眼於某些事物如何影響行為,但其可重複性低於認知研究,認知研究著眼於大腦在儲存記憶、學習新事物等時的功能,但這並不是唯一的領域科學在經歷複製絞盡腦汁時會受到影響。
就在昨天我們報道了氣候逆向論文的回顧—不同意以下共識的期刊文章很可能是由人類活動引起的——發現他們充滿了方法論錯誤,這使得他們的發現無法複製。而今年早些時候,一項單獨的研究發現不可重複的臨床前研究的普遍性超過 50%,「僅在美國,每年就在不可重複的臨床前研究上花費約 28,0 億美元」。
因此,今天的研究不應被視為表明心理學是一門不太可靠的科學。科學最基本的層面就是假設、測試、驗證和重新測試的過程,雖然這些 2008 年的實驗一開始就應該完成,但遲做總比不做好。 “事實上,這些研究人員試圖分析他們自己學科研究結果的可信度,這一事實無疑表明了他們對科學嚴謹性的承諾。”Victoria Turk 在 Motherboard 上指出。
正如你可以想像的那樣,這些研究在沒有重複的情況下發表的背後原因非常複雜,但 Ed Yong 解決了主要問題那些在他的大西洋文章。這很大程度上取決於人類想要答案,而科學沒有義務給予答案。正如今天的作者科學研究指出:“人類渴望確定性,而科學很少提供確定性。儘管我們可能希望情況並非如此,但一項研究幾乎從未提供支持或反對某種效應及其解釋的明確解決方案。”