利用人工智能发现气候错误信息需要经过专业训练的模型

对话式人工智能聊天机器人让气候错误信息听起来更加可信，让人们更难区分谎言和真实科学。作为回应，气候专家正在使用一些相同的工具来检测在线虚假信息。

但在对虚假或误导性气候声明进行分类时，通用大型语言模型或 LLM（例如 Meta 的 Llama 和 OpenAI 的 GPT-4）落后了根据专家策划的气候数据专门训练的模型，科学家们三月份在费城举行的 AAAI 人工智能会议上报告说。调查结果显示，希望在聊天机器人和内容审核工具中使用常用的法学硕士来检查气候错误信息的气候组织需要仔细考虑他们使用的模型，并聘请相关专家来指导培训过程。

与其他类型的索赔相比，伊利诺伊州埃文斯顿西北大学的通信专家埃里克·尼斯贝特（Erik Nisbet）表示，这些信息经常“被虚假或误导性的科学信息所掩盖”，这使得人类和机器更难发现气候科学的复杂性。

为了评估模型，尼斯贝特和他的同事使用名为 CARDS 的数据集，其中包含来自 53 个气候怀疑论网站和博客的大约 28,900 个英文段落。这些段落分为五类：“全球变暖没有发生”、“人类温室气体不会导致全球变暖”、“气候影响还不错”、“气候解决方案行不通”和“气候运动/科学不可靠”。

研究人员通过对来自同一数据集的约 26,000 个段落重新训练或微调 OpenAI 的 GPT-3.5-turbo3 建立了针对气候的法学硕士。然后，该团队将经过微调的专有模型与 16 个通用法学硕士和在 CARDS 数据集上训练的公开可用的小型语言模型 (RoBERTa) 的性能进行了比较。这些模型对其余 2,900 段误导性主张进行了分类。

Nisbet 的团队通过对每个模型将声明分类到正确类别的程度进行评分来评估模型。经过微调的 GPT 模型在测量量表上得分为 0.84（满分 1.00）。通用 GPT-4o 和 GPT-4 模型的得分较低，分别为 0.75 和 0.74，与小型 RoBERTa 模型的 0.77 得分相当。这表明在训练期间包含专家反馈可以提高分类性能。但测试的其他非专有模型，例如 Meta 和 Mistral 的模型，表现不佳，得分仅为 0.28。

维也纳复杂性科学中心的错误信息专家汉娜·梅茨勒 (Hannah Metzler) 表示，这是一个显而易见的结果。研究人员在使用非专有模型时面临计算限制，无法使用更强大的模型。 “这表明，如果你没有巨大的资源（气候组织不会拥有），如果你不想使用专有模型，当然就会出现问题，”她说。 “这表明政府非常需要创建开源模型并为我们提供使用该模型的资源。”

研究人员还测试了微调模型和 CARDS 训练模型，对低可信度网站在 Facebook 和 X 上发布的 914 段有关气候变化的虚假声明进行分类。经过微调的 GPT 模型的分类与两位气候通信专家标记的类别高度一致，并且优于 RoBERTa 模型。但是，GPT 模型很难对气候变化对动植物影响的说法进行分类，这可能是由于训练数据中缺乏足够的例子。

另一个问题是通用模型可能无法跟上共享信息的变化。 “气候错误信息不断变化和适应，”梅茨勒说，“追赶它总是很困难。”