科学家对“大脑解码器”进行了新的改进（AI）将思想转化为文本。
研究小组在一项新研究中报告说，他们的新转换器算法可以快速训练另一个人大脑上的现有解码器。科学家们表示，这些发现有一天可能会为失语症患者提供支持，失语症是一种影响人沟通能力的脑部疾病。
研究合著者说：“患有失语症的人在理解语言和表达语言方面常常遇到一些困难。”亚历山大·胡特，德克萨斯大学奥斯汀分校（UT Austin）的计算神经科学家。 “因此，如果是这样的话，那么我们可能根本无法通过观察他们的大脑如何响应他们所听的故事来为他们的大脑建立模型。”
2 月 6 日发表在期刊上的新研究现代生物学、胡斯和合著者唐杰瑞德克萨斯大学奥斯汀分校的一名研究生研究了如何克服这一限制。 “在这项研究中，我们问，我们可以采取不同的做法吗？”他说。 “我们能否将我们为一个人的大脑构建的解码器转移到另一个人的大脑上？”
研究人员首先对一些参考参与者进行了长时间的大脑解码器训练——在参与者听 10 个小时的广播故事时收集功能性 MRI 数据。
然后，他们对参考参与者和另一组不同的“目标”参与者训练了两种转换器算法：一种使用参与者花 70 分钟收听广播故事时收集的数据，另一种使用参与者花 70 分钟观看与广播故事无关的无声皮克斯短片时收集的数据。
使用一种称为功能对齐的技术，该团队绘制出了参考参与者和目标参与者的大脑如何对相同的音频或电影故事做出反应。他们利用这些信息来训练解码器与目标参与者的大脑一起工作，而不需要收集多个小时的训练数据。
接下来，团队使用一个参与者以前从未听过的短篇故事来测试解码器。尽管解码器对原始参考参与者的预测比使用转换器的参与者稍微准确，但它从每个参与者的大脑扫描中预测的单词在语义上仍然与测试故事中使用的单词相关。
例如，测试故事的一部分包括有人讨论他们不喜欢的工作，说“我是一家冰淇淋店的女服务员。所以，嗯，那不是……我不知道我想去哪里，但我知道不是那样。”使用经过电影数据训练的转换器算法的解码器预测：“我的工作我认为很无聊。我必须接受订单，但我不喜欢它们，所以我每天都在处理它们。”休斯说，虽然不完全匹配，解码器无法读出人们听到的确切声音，但想法是相关的。
“真正令人惊讶和很酷的事情是，即使不使用语言数据，我们也可以做到这一点，”休斯告诉《生活科学》。 “因此，我们可以在某人观看无声视频时收集数据，然后我们可以使用这些数据为他们的大脑构建这种语言解码器。”
研究人员表示，使用基于视频的转换器将现有的解码器传输给失语症患者可能会帮助他们表达自己的想法。它还揭示了人类通过语言和大脑中的视觉叙事表达思想的方式之间存在一些重叠。
“这项研究表明，有一些语义表示并不关心它来自哪种模态，”神谷幸康未参与这项研究的京都大学计算神经科学家告诉《生活科学》杂志。换句话说，它有助于揭示大脑如何以相同的方式表示某些概念，即使它们以不同的格式呈现。
休斯说，该团队的下一步是在患有失语症的参与者身上测试转换器，并“构建一个界面，帮助他们生成他们想要生成的语言”。
