試圖複製兩個在兩個備受矚目的科學期刊上發表的21種社會科學實驗的發現,這給研究的可靠性帶來了危險信號。
我們應該對一次性研究提出多少信任的問題並不是什麼新鮮事。但是,所謂的一線希望可重複性危機我們需要記住 - 這是我們根本無法錯過的機會。
幾年前重點是心理學許多有影響力的心理學研究在復制時並不總是同樣的結論。
此後,其他科學領域也隨之而來。這實驗經濟學複製項目Redid 18實驗在2011年至2014年之間在兩個關鍵的經濟期刊上發表,發現其中11個結果的匹配度很大。
美國開放科學與科學交流中心開設的項目一直在慢慢重做關鍵實驗在研究,發現以40%的成功率複製過去的結果時發現了類似的挑戰。
這次,由加利福尼亞理工學院領導的一組研究人員將注意力轉向了社會科學,系統地選擇了2010年至2015年間在期刊上發表的論文自然和科學,並重複他們的方法。
他們對協議進行了一個小的更改 - 在每種情況下,他們測試的樣本的大小大約是五倍的五倍,從而嚴重提高了它們的力量。
科學和自然是同行評審界的大槍。將論文納入這兩種期刊的研究人員知道,他們的工作不僅會被更多的人閱讀,而且會被信任。
但是這種信任總是有必要的嗎?
對於13項實驗,研究人員發現一個結論或多或少與原始研究的結論相符。他們確定了57%至67%之間的協議,具體取決於您如何定義“同意”。
考慮到效果的大小,結果平均弱了50%。因此,儘管大多數重複研究都指向與原始研究相同的方向,但原始研究經常超出結論。
只選擇了四篇論文自然,但團隊能夠複製其中三個。他們無法從該期刊中復制17項研究中的七項科學。
在我們進行手指搖擺之前,我們需要將所有這些都放在上下文中。
未能複制發現並不能使原始發現錯誤。它確實使我們處於不穩定的境地,願意質疑結果並降低我們對其有用性的信心。
無法得出相同的結論也不能完全使數據本身無效。上下文是一切,不同的結論可能不會使數據甚至某些發現不利。
有趣的是,這對社會科學界都不是新聞。研究小組進行的一項調查發現,他們能夠可靠地預測哪些論文將被複製,哪些不會。
這表明科學界具有批判性的思維能力,可以幫助他們在必要時用一粒鹽進行一些研究。
儘管如此,很明顯,還有足夠的改進空間。這對於大型期刊和較小,更小的出版物一樣多。
這些發現可以幫助我們改善用於設計和執行實驗的方法,或者找到更好的方法來報告其意義。
如果兩項研究完全不同意,那麼潛在的自變量有可能導致衝突。
這種陰暗的影響潛伏在視線之外可能是理解現象的關鍵。遠非科學差,無法複製可能會指向新科學的道路。
為了利用這一點,我們需要仔細研究我們的資助方式並進行科學研究。複製所有內容可能不可行,但是我們如何優先考慮重複中最大的好處的優先級呢?
一些研究人員有建議對我們報告的方式進行更改就統計意義而言,設定更嚴格的邊界,這些邊界可能會在發布之前排除不那麼令人信服的結論。
其他人則認為我們需要註冊我們的意圖發布在我們完成一項研究之前,消除了似乎沒有按計劃進行的歸檔實驗的誘惑,從而更準確地了解了研究格局。
答案就在那裡,科學提出這些棘手的問題更為強大。
忘了稱其為危機。這是可重複性的機會,我們希望有一些好事。
這項研究發表在大自然的人類行為。