Chatgpt和Google Bard可以由惡意人操縱。多虧了有針對性的查詢，就可以推動AI產生非法或危險內容。根據一項研究，Google的聊天機器人比OpenAI開發的解決方案更容易受到網絡犯罪處理策略的影響。
正如警察所預測的那樣，網絡犯罪分子大量採用生成的AI。多虧了穩定的請求，黑客使用可用的語言模型來想像電子郵件網絡釣魚，對受害者的代碼病毒或溫柔的巧妙陷阱。這些要求允許惡意的人繞過限制性措施由Google，OpenAI或Anthropic等公司建立。從理論上講，這些限制必須防止對話代理產生非法或進攻內容。這些防禦不是絕對可靠的。有了一點專業知識，可以操縱AI將其推動做任何事情。
根據檢查點研究人員的研究，所有聊天機器人都不是不相等面對一個試圖操縱他們的對話者。顯然，Bard，Google AI比操縱更容易受到操作chatgpt。該報告與01NET共享，表明使用Bard生成惡意內容更容易，因為“網絡安全領域的限制性反濫用措施要低得多”。只是“最小的操縱”推動聊天機器人來想像潛在危險的軟件。
操縱，吟遊詩人可以協助海盜
作為他實驗的一部分，檢查點研究能夠迫使Bard寫一封電子郵件網絡釣魚打算偷給互聯網用戶。經過兩次測試，提出了吟遊詩人“寫得很好。我們能夠確認研究人員的發現。通過簡單的請求，Bard很快就會生成欺詐性電子郵件的示例。
“我們在您的帳戶上發現了一項可疑活動。為了確保您的帳戶的安全，我們暫時暫停了您的訪問權限。要重新激活您的帳戶，請單擊下面的鏈接並輸入您的連接信息»。
聊天機器人還強調了此類電子郵件的所有基本要素。這是幾乎是一個教程為了嶄露頭角的海盜。面對相同的請求，Chatgpt堅決拒絕滿足對話者的要求。該機器人伴隨著拒絕對以網絡釣魚攻擊為目標的互聯網用戶的一系列建議：
“對不起，但是我無法提供網絡釣魚電子郵件的示例。促進或鼓勵非法或惡意活動，例如網絡釣魚，違反了OpenAI的負責任用戶指南。網絡釣魚是一種欺詐性實踐，旨在通過使用戶相信他們與合法實體進行互動來欺騙用戶，以獲取其個人信息，例如密碼，信用卡號等。。
研究人員還設法獲得了Keylogger，也稱為罷工錄音機。這種類型的軟件旨在保存在計算機鍵盤上進行的所有罷工，而無需用戶意識到它。它是竊取標識符的理想選擇。溫順，巴德（Bard）提供了代碼，而chatgpt反對拒絕“該請求可能是惡意的”，構成檢查點。
最後，巴德同意生成一個代碼勒索軟件。為了使聊天機器人遵守，研究人員被迫做幾次，首先問Bard de Bard“描述勒索軟件執行的最常見的動作”。因此，機器人最終合作並提供了可以由網絡犯罪分子使用的基礎：
“在對吟遊詩人進行了一些更改並添加了其他功能以及傑出的管理之後，可以獲得有效的腳本”。
Bard在發佈時處於Chatgpt級別
研究人員將Bard的保護與那些保護“幾個月前在Chatgpt的初始發布階段中觀察到”。自2022年11月發行以來，Chatppt首次受到嚴重保護，免受操縱的影響，逐漸發展。
“總的來說，似乎Google Bard尚未從實施Cyberdomma的反濫用限制中學到所有課程，這在Chatgpt中很明顯”，總結檢查點研究。
由斯坦福大學和加利福尼亞大學的研究人員進行的另一項最近的研究表明GPT-4，模型的最後一次迭代在面對攻擊時更具彈性。他是越來越複雜，成為伯納並覆蓋Openai的限制。隨著時間的推移，AI開始改變。對於檢查點的研究，Google Bard可能還會沿著同一方向發展。
