
神經科學家正在教計算機直接讀取單詞人們的大腦。
凱利·塞維克(Kelly Servick),為科學寫作,報告本週,在預印服務器Biorxiv上發布的三篇論文中,三個不同的研究人員表明,他們可以從神經元射擊的錄音中解釋語音。在每項研究中,當腦手術患者聽言語或大聲朗讀單詞時,電極直接記錄在大腦上。然後,研究人員試圖弄清楚患者在聽什麼或說什麼。在每種情況下,研究人員都能夠將大腦的電活動轉換為至少有些不可能的聲音文件。
這第一張紙,於2018年10月10日發布給Biorxiv癲癇在腦部手術中間的人。 (實驗中所做的神經記錄必須非常詳細才能解釋。細節水平僅在極少數情況下直接將大腦暴露於空氣並將電極直接放在其上,例如在大腦手術中。)[)[)[)[)[)[)[)[)3D圖像:探索人腦這是給出的
當患者收聽聲音文件時,研究人員記錄了在患者大腦中發射聲音的神經元。科學家們嘗試了多種不同的方法將神經元的射擊數據轉化為語音,並發現“深度學習“ - 計算機試圖或多或少無監督的問題最有效。當他們通過一個綜合人類聲音的Vocoder播放結果時,對於一組11名聽眾,這些人可以在75%的時間中正確解釋這些單詞。
您可以聽這項實驗的音頻這裡。
這第二篇論文,於2018年11月27日發布,依靠接受手術的人的神經記錄來清除腦腫瘤。當患者大聲讀取單音節單詞時,研究人員記錄了參與者的嘴巴發出的聲音,又記錄了神經元在大腦的言語產生區域。這些研究人員沒有對每個患者進行深入訓練的計算機,而是教授人造神經網絡將神經記錄轉換為音頻,這表明結果至少可以合理地理解,並且與麥克風的記錄相似。 (該實驗的音頻是這裡但必須將其下載為zip文件。 )
這第三篇論文,2018年8月9日發布,依靠記錄大腦的一部分這轉換了一個人決定講肌肉運動的特定詞。儘管該實驗尚無錄製,但研究人員報告說,他們能夠重建整個句子(還記錄在癲癇患者的腦部手術期間記錄),並且聽取句子的人能夠在多個選擇測試(分10個選擇中)83%的時間在多種選擇測試(分別是10個選擇)上正確解釋它們。該實驗的方法依賴於確定產生單個音節的模式,而不是整個單詞。
所有這些實驗的目標是有一天使失去講話能力的人成為可能(由於肌萎縮性側硬化症或類似的條件)通過計算機對腦接口進行講話。但是,該應用程序的科學還不存在。
科學報導,解釋一個人的神經模式剛剛想像的言語比解釋聆聽或產生言語的人的模式更為複雜。 (但是,第二篇論文的作者說,解釋某人的大腦活動可能是可能的。)
請記住,這些是小型研究也很重要。第一篇論文依賴於僅五名患者獲取的數據,而第二篇則查看了六名患者,第三名患者只有三名患者。而且沒有一個神經記錄持續一個多小時。
儘管如此,科學仍在向前發展,人造言論設備直接掛在大腦上似乎是一種真正的可能性。
最初出版現場科學。