在一個新研究發表於哈佛大學肯尼迪學院錯誤信息審查布羅斯大學、隆德大學和瑞典農業科學大學的研究人員共發現 139 篇論文涉嫌欺騙性使用 ChatGPT 或類似的大型語言模型應用;其中,19 篇為索引期刊,89 篇為非索引期刊,19 篇為大學數據庫中的學生論文,12 篇為工作論文(大部分在預印本數據庫中);健康和環境論文約佔樣本的 34%;其中 66% 出現在非索引期刊中。
大量與環境和健康相關的 GPT 捏造的、有問題的全文論文。圖片來源:海德爾等人.,doi:10.37016/mr-2020-156。
使用 ChatGPT 生成學術論文文本引起了人們對研究誠信的擔憂。
關於這一現象的討論在社論、評論、評論文章和社交媒體上正在進行。
現在有多個涉嫌濫用 GPT 的論文列表,並且新的論文正在不斷添加。
儘管 GPT 在研究和學術寫作方面存在許多合法用途,但其未公開的用途(超出校對范圍)對科學和社會都具有潛在的深遠影響,尤其是對它們的關係。
布羅斯大學研究員 Björn Ekström 表示:“人工智能生成的研究的一個主要問題是證據被黑客攻擊的風險增加,即虛假研究可用於戰略操縱。”
“這可能會產生切實的後果,因為錯誤的結果可能會進一步滲透到社會中,甚至可能滲透到越來越多的領域。”
在他們的研究中,Ekström 博士和他的同事在 Google Scholar 中搜索並抓取了一些論文,其中包含已知來自 ChatGPT 和具有相同基礎模型的類似應用程序的常見響應的特定短語:“截至我上次知識更新”和/或“我無法訪問實時數據”。
這有助於識別可能使用生成式 AI 生成文本的論文,從而檢索到 227 篇論文。
在這些論文中,88 篇論文是合法和/或聲明使用 GPT 編寫的,139 篇論文是通過未聲明和/或欺詐使用編寫的。
大多數(57%)有問題的論文涉及與政策相關的主題(即環境、健康、計算),容易受到影響操作的影響。
大多數在不同領域(例如社交媒體、檔案館和存儲庫)都有多個副本。
布羅斯大學教授 Jutta Haider 表示:“如果我們不能相信所讀到的研究是真實的,我們就有可能根據不正確的信息做出決定。”
“但這不僅是一個科學不當行為的問題,也是一個媒體和信息素養的問題。”
“谷歌學術不是一個學術數據庫,”她指出。
“該搜索引擎易於使用且速度快,但缺乏質量保證程序。”
“對於常規的谷歌結果來說,這已經是一個問題了,但在讓科學變得易於理解方面,問題就更大了。”
“大多數情況下,人們決定哪些期刊和出版商發表經過質量審查的研究的能力對於尋找和確定什麼構成可靠的研究非常重要,對於決策和意見形成也非常重要。”
_____
與海德爾交談等人。 2024. Google Scholar 上 GPT 編造的科學論文:關鍵特徵、傳播以及對先發製人的證據操縱的影響。哈佛大學肯尼迪學院錯誤信息審查5(5); DOI:10.37016/mr-2020-156









