科學很難。如果你想做出新的發現,你不僅需要觀察效果、測試你的假設、接受同儕審查並發表——你的想法還必須經得起嚴格的獨立測試。
這就是所謂的科學方法,就是這樣我們試圖消除已發表研究中的大多數僥倖和誤報。
但正如最新一集Veritasium 解釋道儘管這個過程很漫長,但許多經過同行評審的研究實際上是錯誤的,它凸顯了我們科學研究方式中的一個嚴重問題。
那麼到底是怎麼回事呢?很多問題都歸結為一個問題:數據不能說明一切,總是需要有人來解釋。不幸的是,人類是一個不可預測的變數。
拿這2011年論文發表在這人格與社會心理學雜誌例如,名為「感受未來:對認知和情緒的異常追溯影響的實驗證據」。
在那項研究中,研究人員表示,他們發現了人類可以預測未來的證據……所有這些都是基於這樣一個事實:當被要求選擇兩個窗簾中哪一個背後有圖像時,參與者有53% 的時間選擇了正確的答案。
作者聲稱,如果這只是隨機機率,正確猜測的幾率將為 50%。
這聽起來很假,但事情是這樣的——這項研究在統計上是“顯著的”,這意味著研究人員對數據進行了處理,得到的 p 值小於 0.05。換句話說,他們隨機得到這個結果的可能性不到 5%。
幾十年來,獲得 ap > 0.05 的分數一直是決定結果價值的最重要因素,而這個數字通常決定一項研究是否值得發表。
但正如我們之前提到的,這是一個令人難以置信的問題,不僅會產生大量誤報,還會使數據受到影響p-駭客攻擊- 即對結果進行輕微調整,直到研究人員獲得顯著結果。
我們會讓德瑞克告訴你透過上面的影片中的內容,因為它非常複雜但很重要,並且絕對值得更仔細地研究。
但這裡要知道的重要一點是,大多數科學家並沒有惡意這樣做——許多錯誤結果都是系統的症狀:獲得工作的唯一方法是發表論文,而且您不發表論文不顯著或重複結果。
好消息是許多科學家現在認識到有一個科學的可重複性危機,並正在積極尋找改變發布流程並使其更加準確和透明的方法。
我們期待看到接下來會發生什麼,因為如果我們需要一件事,那就是我們可以依賴的科學模型。