纽约市的AI聊天机器人正在抨击向企业提供不准确的建议

纽约市的小型企业主批评了它的新AI驱动聊天机器人误解了本地法规并提出了非法行为。

上周，技术新闻博客Markup报道了聊天机器人的不良答复，引发了争议。尽管有异议，但纽约市行政管理在其政府网站上维护AI工具。市长埃里克·亚当斯（Eric Adams）通过意识到聊天机器人的错误来证明这一举动。

纽约市的AI Chatbot于10月作为公司所有者的完整资源推出，以算法的方式回答了当地的官僚问题。但是，它警告用户可能会提供我敏锐或危险信息根据AP News的报道，它的评论不是法律建议。

尽管有这些保护，但纽约市AI聊天机器人提供了错误的建议，这引起了专家对部署无控制系统的政府危害的担忧。

纽约大学的计算机科学教授兼负责人AI中心主任朱莉娅·斯托亚诺维奇（Julia Stoyanovich）批评了这座城市的方法，并指出：“他们正在未经监督的情况下未经证实的软件。很明显，他们无意做负责任的事情。”

聊天机器人错误地声称，公司可以合法解雇报告性骚扰，未能披露怀孕或拒绝发型变化的工人。它还暗示公司可以使用黑色垃圾袋而不是堆肥，从而歪曲了该市的废物计划。

Microsoft与Azure AI一起运行聊天机器人，他说，它正在与市政府官员合作，以提高其与官方文书工作的准确性和一致性。

亚当斯市长在新闻发布会上为聊天机器人辩护，称故障是提炼新技术的一部分。像斯托亚诺维奇这样的批评家称这种策略为“鲁ck and不负责任”。

专家建议其他考虑可比较技术的政府从纽约市的聊天机器人的错误中学习。布朗大学技术责任，重新构想和重新设计中心主任Suresh Venkatasubramanian建议城市仔细评估聊天机器人的福利和危害，以确保公共服务责任。

纽约市AI聊天机器人的辩论源于AI模型的“幻觉”，这引起了对其编程答案的疑问。大规模语言模型或AI聊天机器人的培训，这些模型扫描了巨大的数据集以查找单词和主题之间的模式和关系，这会导致这一困难。在使用这些信息来理解线索和开发内容的同时，它们可能会产生令人信服但事实不正确的产出。

曼哈顿联邦法院收到了代表一名委托航空公司的律师的Chatgpt AI写的法律简介。简介包括假陈述和法院案件参考文献，证明了CNBC的AI生成的虚假信息的危险。

认识到它们的局限性和错误对于AI聊天机器人的兴起至关重要，尤其是允许用户修改它们的系统。 Openai使用“过程监督”来减少错误。此方法将AI模型奖励以获得正确的答复和良好的推理。

Openai研究人员卡尔·科布（Karl Cobbe）强调了在AI模型中识别和固定逻辑错误或“幻觉”的必要性，以实现一般的人工通用智能。

除了幻觉外，AI聊天机器人还面临另一个问题互联网数据耗尽，阻止了人工智能业务开发更强大的大型语言模型。根据较早的TechTimes报告，公司正在终止免费的互联网资源，对AI模型培训的数据赤字引起了人们的担忧。

作为回应，AI业务正在寻求其他培训数据源。有些使用公共视频成绩单和AI生成的合成数据。但是，此举增加了基于故意制造的数据“幻觉”的AI模型的潜力。

为了应对数据稀缺问题，Openai等人工智能行业领导者正在考虑培训其模型的非常规方法。据报道，Chatgpt的创建者Openai正在考虑使用YouTube转录培训其GPT-5模型。