
欢迎来到未来:科学家现在可以在大脑内部凝视,并仅根据他们的大脑活动来重建一个人所看到的视频。
重建的视频可以看作是一种原始且有些模糊的思维阅读形式,尽管研究人员几十年来可以解码像记忆或思想一样个人的任何东西,甚至是可能的事情。目前,思维阅读技术需要功能强大的磁铁,时间和数百万秒的YouTube视频。
但是,从长远来看,可以使用类似的方法与居住在“锁定状态”状态的中风患者或昏迷患者进行交流。
加兰特告诉《生命科学》:“想法是,他们将能够想象一部电影要谈论的内容,而您将能够解码这一点。”
解码大脑
Gallant的团队以前已经解码了大脑。 2008年,研究人员报告说,他们开发了一种计算机模型,该模型从功能性磁共振成像(fMRI)中吸收了大脑活动数据,将其与照片库进行了比较,并吐出了该人在进行大脑活动测量时最有可能查看的照片。该技术准确地选择了10次中的10次合适的照片。
Gallant说,但是重建视频而不是静态图像要困难得多。那是因为fMRI无法直接测量脑细胞的活性。它测量流向大脑活动区域的血液。这种血流的发生速度要比大脑中数十亿个神经元的拉链通信慢得多。 [大脑内部:穿越时间的旅程这是给出的
因此,Gallant和博士后研究员Shinji Nishimoto建立了一个计算机程序来弥合这一差距。该程序的一部分是成千上万个虚拟神经元的模型。另一半是神经元活性如何影响大脑活动区域的血液流动的模型。使用这座虚拟桥,研究人员能够将慢血流的信息转化为神经元活动的快速语言。
电影之夜...科学
接下来是有趣的部分:三名志愿者,该项目上的所有神经科学家,在fMRI机器内观看了数小时的视频剪辑。由于涉及的时间和精力而没有使用外部志愿者,而且由于神经科学家很有动力专注于视频,从而确保了更好的大脑图像。
Gallant和他的同事使用大脑成像数据建立了一个“词典”,将大脑活动模式与单个视频剪辑联系起来,就像他们2008年的研究对图片所做的那样。当给定400秒的夹子可供选择时,这款脑部电影翻译器能够识别出95%的时间产生给定的大脑信号的电影,另外或减去剪辑中的一秒钟。即使给出了计算机型号100万秒的剪辑,它在75%的时间内选择了右第二秒。
凭借手头上精确的大脑到电影旋转词字典,研究人员引入了新的挑战水平。他们给了计算机型1800万秒的新剪辑,所有剪辑都从YouTube视频中随机下载。没有一个实验参与者见过这些剪辑。
然后,研究人员通过模型进行了参与者的大脑活动,命令它选择最有可能触发每一秒活动的剪辑。结果是从造口重建该人的视觉体验电影。换句话说,如果参与者看到一个剪辑显示史蒂夫·马丁(Steve Martin)坐在屏幕的右侧,则该程序可以查看他们的大脑活动,并选择看起来最像马丁坐在屏幕右侧的YouTube剪辑。
你可以看到视频剪辑在这里和这里。在第一个剪辑中,原始视频在左侧,而基于大脑活动最接近的前100个剪辑的平均值在右侧。 (加兰特说,平均值是必要的,也是模糊的原因,因为即使有1800万秒的YouTube视频也没有接近捕获原始剪辑中的所有视觉品种。)视频的第二部分显示了顶部的原始剪辑和下面的重建。左列是平均重建,而其余的列是该程序最接近原始视频的单个视频。
看一部思维电影
普通视频看起来像是幽灵般但可识别的原始视频。 gallant说,模糊之处在很大程度上是因为YouTube的剪辑库是如此有限,这使得确切的匹配变得更加困难。
他说:“一八百万秒确实是您一生中看到的一小部分。”
思维读物方法仅限于大脑的基本视觉区域,而不受较高功能的思想和理由(例如额叶皮层)。但是,Gallant和他的同事们正在努力建立模型,以模仿其他大脑区域。在短期内,这些模型可用于理解大脑如何工作就像环境科学家使用大气的计算机模型来了解天气和气候一样。
Gallant说,从长远来看,希望这种技术可用于构建脑机界面,从而使脑部损伤的人通过思考并通过计算机翻译这些想法来进行交流。可能,您可以衡量梦中的大脑活动或幻觉,然后在大屏幕上观看这些幻想状态。
加兰特说,如果这些预测成真,可能会涉及道德问题。他和他的同事们坚决反对在没有知识和同意的情况下衡量任何人的大脑活动。但是,现在考虑到该技术需要大型,嘈杂的fMRI机器和受试者的全部合作,秘密的大脑窃听是牵强的。
加兰特说,不仅如此,阅读思想,记忆和梦想可能并不像解码简单的视觉体验那样简单。我们的大脑如何处理我们所看到的内容以及如何处理我们想象的内容之间的联系不清楚。
加兰特说:“这种模型将是试图解码视觉图像的起点。” “但是离终点有多近是很难说。”
您可以关注生活学 Twitter上的高级作家Stephanie Pappas@sipapas。跟随LiveScience在Twitter上进行最新的科学新闻和发现@livescience 然后继续Facebook。