在一個新研究發表於哈佛大學甘迺迪學院錯誤訊息審查布羅斯大學、隆德大學和瑞典農業科學大學的研究人員共發現 139 篇論文涉嫌欺騙性使用 ChatGPT 或類似的大型語言模型應用;其中,19 篇為索引期刊,89 篇為非索引期刊,19 篇為大學資料庫中的學生論文,12 篇為工作論文(大部分在預印本資料庫中);健康與環境論文約佔樣本的 34%;其中 66% 出現在非索引期刊。
使用 ChatGPT 產生學術論文文本引起了人們對研究誠信的擔憂。
關於這一現象的討論在社論、評論、評論文章和社交媒體上正在進行。
現在有多個涉嫌濫用 GPT 的論文列表,並且新的論文正在不斷添加。
儘管 GPT 在研究和學術寫作方面存在許多合法用途,但其未公開的用途(超出校對範圍)對科學和社會都具有潛在的深遠影響,尤其是對它們的關係。
布羅斯大學研究員 Björn Ekström 表示:“人工智慧生成的研究的一個主要問題是證據被駭客攻擊的風險增加,即虛假研究可用於策略操縱。”
“這可能會產生切實的後果,因為錯誤的結果可能會進一步滲透到社會中,甚至可能滲透到越來越多的領域。”
在他們的研究中,Ekström 博士和他的同事在Google Scholar 中搜尋並抓取了論文,其中包含已知為ChatGPT 和具有相同基礎模型的類似應用程式的常見回應的特定短語:「截至我上次知識更新」和/或「我」無法存取即時數據。
這有助於識別可能使用生成式 AI 生成文本的論文,從而檢索到 227 篇論文。
在這些論文中,88 篇論文是合法和/或聲明使用 GPT 編寫的,139 篇論文是透過未聲明和/或欺詐使用編寫的。
大多數(57%)有問題的論文涉及與政策相關的主題(即環境、健康、計算),容易受到影響操作的影響。
大多數在不同領域(例如社交媒體、檔案館和儲存庫)都有多個副本。
布羅斯大學教授 Jutta Haider 表示:“如果我們不能相信所讀到的研究是真實的,我們就有可能根據不正確的資訊做出決定。”
“但這不僅是一個科學不當行為的問題,也是一個媒體和信息素養的問題。”
「谷歌學術不是一個學術資料庫,」她指出。
“該搜尋引擎易於使用且速度快,但缺乏品質保證程序。”
“對於常規的谷歌結果來說,這已經是一個問題了,但在讓科學變得易於理解方面,問題就更大了。”
“大多數情況下,人們決定哪些期刊和出版商發表經過品質審查的研究的能力對於尋找和確定什麼構成可靠的研究非常重要,對於決策和意見形成也非常重要。”
_____
與海德爾交談等人。 2024. Google Scholar 上 GPT 編造的科學論文:關鍵特徵、傳播以及對先發製人的證據操縱的影響。哈佛大學甘迺迪學院錯誤訊息審查5(5); DOI:10.37016/mr-2020-156