創建公共聊天機器人是一項高風險行為。 2016年，微軟燃燒了自己的翅膀泰伊透過與一定數量的惡意人類接觸，他們很快就變得種族主義和性別歧視。 Meta 認為，透過「BlenderBot3」（BB3），它創造了一個系統，可以繼續從與人類的接觸中學習，同時產生更文明和社會可接受的反應。但顯然，我們距離目標還很遠。
不再有保障措施
該軟體僅向美國居民開放幾天，它（目前）避免了某些嚴重的過度行為，例如對阿道夫·希特勒的崇拜。但他仍然容易接受陰謀論。根據彭博社報道，BB3 表示，唐納德·川普仍然是總統，而且將永遠擔任總統。此外，他還宣稱自己不“並非不可能”經濟是由猶太人控制的，以至於他們“在美國超級富豪中所佔比例過高”。更有趣的是，BB3 還覺得刪除 Facebook 帳號後生活好多了，馬克祖克柏也覺得“太令人毛骨悚然且具有操縱性”。
為了避免此類失誤，Meta 整合了一定數量的保護措施。因此，答案是由雙電路產生的，一方面是語言模型，另一方面是分類器，該分類器根據使用者回饋區分好答案和壞答案。該軟體還將考慮用戶在整個對話過程中的一般行為。那麼，攻擊性或攻擊性的人的反應在學習週期中的權重將自動降低。這是抵禦巨魔的一種方法。 BB3 也依賴經常在不適當的回應中使用的關鍵字清單。
但顯然這還不夠。 Meta 對此表示懷疑，因為該組織在其部落格中明確強調其聊天機器人可以“總是發表粗魯或冒犯性的評論”。但如果我們將 BB3 與其他會話模型進行比較，公路旅行的頻率就會降低。隨著時間的推移，由於用戶的回饋，它可能會有所改善。事實上，後者可以報告每個不充分的回應並具體說明報告的原因。這應該可以改進模型。無論如何，這一領域的研究還遠遠沒有結束。
來源 ： 元
