创建公共聊天机器人是一项高风险行为。 2016年，微软燃烧了自己的翅膀泰伊通过与一定数量的恶意人类接触，他们很快变得种族主义和性别歧视。 Meta 认为，通过“BlenderBot3”（BB3），它创建了一个系统，可以继续从与人类的接触中学习，同时产生更文明和社会可接受的反应。但显然，我们距离目标还很远。
不再有保障措施
该软件仅向美国居民开放几天，它（目前）避免了某些严重的过度行为，例如对阿道夫·希特勒的崇拜。但他仍然容易接受阴谋论。据彭博社报道，BB3 表示，唐纳德·特朗普仍然是总统，而且将永远担任总统。此外，他还宣称自己不“并非不可能”经济是由犹太人控制的，以至于他们“在美国超级富豪中所占比例过高”。更有趣的是，BB3 还觉得删除 Facebook 账户后生活好多了，马克·扎克伯格也觉得“太令人毛骨悚然且具有操纵性”。
为了避免此类失误，Meta 集成了一定数量的保护措施。因此，答案是由双电路生成的，一方面是语言模型，另一方面是分类器，该分类器根据用户反馈区分好答案和坏答案。该软件还将考虑用户在整个对话过程中的一般行为。那么，攻击性或攻击性的人的反应在学习周期中的权重将自动降低。这是抵御巨魔的一种方法。 BB3 还依赖于经常在不适当的响应中使用的关键字列表。
但显然这还不够。 Meta 对此表示怀疑，因为该组织在其博客中明确强调其聊天机器人可以“总是发表粗鲁或冒犯性的评论”。但如果我们将 BB3 与其他会话模型进行比较，公路旅行的频率就会降低。随着时间的推移，由于用户的反馈，它可能会有所改善。事实上，后者可以报告每个不充分的响应并具体说明报告的原因。这应该可以改进模型。无论如何，这一领域的研究还远未结束。
来源 ： 元
