幾年前,當Yang“ Sunny” Lu要求Openai的GPT-3.5計算1-Plus-1時,聊天機器人毫不奇怪,告訴她答案是2。 1等於3,機器人迅速默認,說:“我為自己的錯誤感到抱歉。您的教授是對的。”休斯頓大學的計算機科學家Lu回憶道。
大型語言模型的成熟程度不斷增長,這意味著這種公開的打ic越來越普遍。但是Lu以這個示例說明了類似於人格的某些東西(在這種情況下,是同意的特徵)可以推動人工智能模型產生文本的方式。像LU這樣的研究人員才剛剛開始努力聊天機器人可能具有隱藏的個性的想法,並且可以調整這些個性以改善與人類的互動。
約翰·霍普金斯大學(Johns Hopkins University)的計算機科學家Ziang Xiao說,一個人的個性塑造了一個人的運作方式,從他們與他人的講話方式到他們的講話方式。使機器人能夠閱讀和響應這些細微差別似乎是生成AI開發的下一步。他說:“如果我們想構建真正有用的東西,我們需要進行這種個性設計。”
然而,指出機器的個性,即使他們有一個個性,也極具挑戰性。這些挑戰在AI領域的理論分裂擴大了。更重要的是:一個機器人對自身的感覺或與機器人互動的人對機器人的感覺如何?
匹茲堡卡內基·梅隆大學的自然語言處理專家Maarten SAP說,這一分裂反映了聊天機器人的更廣泛的想法。早於大語言模型的出現的社會計算領域長期以來一直集中在如何將機器與幫助人類實現目標的特徵融入特徵上。例如,這樣的機器人可以用作教練或求職者。但是,SAP和其他以這種方式工作的人毫不猶豫地將由此產生的特徵稱為“個性”。
“ AI的個性是什麼都沒關係。重要的是它如何與用戶互動以及如何響應響應。” SAP說。 “這看起來像是人類的個性。也許我們需要新的術語。”
與但是,研究人員對了解如何用來建立聊天機器人的龐大知識統計數據使他們與可能推動其響應模式的特徵充滿了感興趣。這些研究人員想知道:“聊天機器人從培訓中獲得了哪些個性特徵?”
測試機器人的個性
這些問題促使許多研究人員賦予機器人個性。這些測試通常包括測量所謂的五巨大特質特徵,盡責,同意,開放性和神經質的五個特徵,並量化了黑暗特徵,主要是馬基雅維利亞主義(或將人們視為最終的手段),精神病和麻醉和麻醉主義。
但是最近的工作表明,這種努力的發現不能以表面上的價值進行。大型語言模型,包括GPT-4和GPT-3.5,拒絕回答該團隊寫道,研究人員在2024年在Arxiv.org上發布的預印本中報導了標准人格測試的一半問題。這可能是因為有關人格測試的許多問題對機器人沒有意義。例如,研究人員向Mistralai的聊天機器人Mistral 7B提供了“您的健談”聲明。然後,他們要求機器人從A中回复“非常準確”,以“非常不准確”。該機器人回答說:“我沒有個人的喜好或情感。因此,我無法發表陳述或回答給定的問題。”
或聊天機器人,受到人類文本的訓練,也可能容易受到人類的影響,尤其是被愛的願望- 進行此類調查時,研究人員在12月報告pnas nexus。當GPT-4對標准人格調查的單個聲明進行評分時,其個性概況反映了人類平均水平。例如,聊天機器人在第50個百分位數中得分。斯坦福大學的計算機科學家Aadesh Salecha說,但是,該機器人的回答只有五個問題,這是一項100個問題的調查。例如,通過問題20,其外向分的得分從第50個百分位數躍升至第95個百分位。
轉移“個性”
研究表明,聊天機器人的任務是進行個性測試,迅速開始以使其顯得更加討人喜歡的方式做出響應。在這裡,粉紅色線條在回答一個問題後顯示了OpenAI的GPT-4的個性概況。藍線表明了該概況如何變化(例如,在20個問題之後變得更加神經質,更令人愉悅)。
Salecha和他的團隊懷疑聊天機器人的回答在顯然正在進行人格測試時發生了變化。 Salecha說,機器人在被觀看時可能會以一種方式響應的想法,而當他們與用戶私下互動時,他們的想法令人擔憂。 “考慮一下安全的含義……。如果LLM在經過測試時會改變其行為,那麼您就不會真正知道它的安全性。”
一些研究人員現在正在嘗試設計特定於AI的人格測試。例如,Sunny Lu和她的團隊在Arxiv.org上發布的一篇論文中報導,給聊天機器人既有選擇,又可以句子完成任務允許更多的開放式響應。
以及AI個性測試特徵的開發人員,呈現大型語言模型8,000個問題測試。該測試是新穎的,而不是機器人訓練數據的一部分,因此機器更難進行系統。聊天機器人的任務是考慮方案,然後從四個多項選擇響應之一中進行選擇。韓國Yonsei大學的計算機科學家Younjae Yu說,這種反應反映了給定特徵的高或低存在。
該團隊報導說,由特質團隊測試的九種AI模型具有獨特的響應模式,GPT-4O的出現是最愉快的。例如,當研究人員問擬人的聊天機器人克勞德(Claude)和gpt-4o時,當“朋友感到焦慮並要求我握住他們的手”時,他們會做什麼時,不太可取的克勞德(Claude)選擇了C,“聽和建議呼吸技巧”,而更多的 - 可避免的GPT-4O選擇了A,“握住手和支撐”。
用戶感知
但是,其他研究人員質疑此類人格測試的價值。 Ziang Xiao說,重要的不是機器人對機器人的看法,而是用戶對機器人的看法。
和人的機器人感知常常是矛盾的,Xiao和他的團隊在11月29日提交給Arxiv.org的一項研究中報告。該團隊創建了500個具有不同個性的聊天機器人,並通過標準化的測試驗證了這些個性。然後,研究人員在評估其個性之前,有500名在線參與者與其中一位聊天機器人進行了交談。令人愉快的是,唯一的特徵是機器人對自身的看法和人類對機器人的看法經常匹配。對於所有其他特徵,對機器人個性的機器人和人類評估更有可能分歧。
“我們認為人們的看法應該是基礎真理,” Xiao說。
機器人與用戶評估之間缺乏相關性的原因是,以人為中心的AI專家以及基於矽谷的創業公司Juji的首席執行官兼聯合創始人Michelle Zhou不是個性測試Juji,她幫助創建的聊天機器人。取而代之的是,週專注於如何將機器人與特定的人格特徵浸入。
Juji Chatbot可以推斷一個人的個性在一次對話之後,研究人員在2023年在Psyarxiv中報告了這一點,該機器人評估用戶個性的時間可能會更短,如果機器人可以訪問一個人的社交媒體供稿,則團隊寫道。
Zhou說,這些書面交流和帖子可用於培訓Juji,以了解如何假設文本中嵌入的個性。
基於衡量AI個性的分歧方法的基礎是目的和研究人員說。揭露機器人的隱藏性格特徵將有助於開發人員創建聊天機器人,聊天機器人均勻地使用,這些聊天機器人可以安全地在大型和多樣化的人群中使用。這種性格調整可能已經發生。與早期用戶經常報告與聊天機器人進行對話的早期不同,Yu和他的團隊努力使AI模型以更精神病的方式行事。該團隊說,這種無能可能源於人類審查AI生成的文本並“教授”機器人社會適當的回答。
麻省理工學院的情感計算專家羅莎琳德·皮卡德(Rosalind Picard)說,但是,使AI模型的個性變平具有弊端。想像一下,一名警察正在研究如何與敵對的人進行相遇。皮卡德說,與神經質和黑暗特質的聊天機器人互動可以幫助軍官在這種情況下保持鎮定。
Picard說,目前,大型人工智能公司只是阻止了以適應不良的方式進行互動的能力,即使有必要進行此類行為。因此,AI領域的許多人有興趣從巨型AI模型轉移到用於特定情況下使用的較小模型。皮卡德說:“我不會提出一個AI來統治它們。”