
科學家對使用的“大腦解碼器”做出了新的改進人工智慧(AI)將思想轉換為文本。
該團隊在一項新研究中報導說,他們的新轉換器算法可以迅速訓練對他人大腦的現有解碼器。科學家說,這些發現可能有一天可以支持失語症,這種腦部疾病會影響一個人的交流能力。
大腦解碼器使用機器學習將人的思想轉化為文本,這是基於他們對他們所聽的故事的回答。然而,過去的迭代要求參與者在MRI機器中聽故事數小時,而這些解碼器僅為他們接受過培訓的個人工作。
研究共同作者說:“失語症的人通常在理解語言和製作語言的情況下有些困難。”亞歷山大·赫斯(Alexander Huth),德克薩斯大學奧斯汀分校(Austin)的計算神經科學家。 “因此,如果是這樣,那麼我們可能無法通過觀察他們的大腦對他們聽的故事的反應來為他們的大腦建立模型。”
在2月6日發表的新研究中當前的生物學,Huth和合著者傑里·唐,UT Austin的一名研究生調查了他們如何克服這一限制。 “在這項研究中,我們問,我們可以做不同的事情嗎?”他說。 “我們可以將我們為一個人的大腦建造的解碼器轉移到另一個人的大腦嗎?”
研究人員首先在很長一段時間內對少數參與者培訓了大腦解碼器 - 通過收集功能性MRI數據,而參與者聽了10個小時的廣播故事。
然後,他們在參考參與者和另一組“目標”參與者上培訓了兩種轉換器算法:一個在參與者花了70分鐘的時候使用收集的數據,而另一個則在聽廣播故事,而另一個則花了70分鐘的時間觀看Silent Pixar短片與廣播故事無關。
該團隊使用一種稱為功能對齊的技術,繪製了參考和目標參與者的大腦如何響應相同的音頻或電影故事。他們使用該信息來訓練解碼器與目標參與者的大腦合作,而無需收集多個小時的培訓數據。
接下來,團隊使用一個參與者以前從未聽說過的短篇小說對解碼器進行了測試。儘管對於原始參考參與者而言,解碼器的預測比使用轉換器的參與者的預測更準確,但它從每個參與者的腦部掃描中預測的單詞仍然與測試故事中使用的單詞相關。
例如,測試故事的一部分包括有人討論他們不喜歡的工作,說:“我是冰淇淋店裡的女服務員。所以,嗯,那不是……我不知道我想去哪裡,但我知道不是那樣。”使用經過膠片數據訓練的轉換器算法預測的解碼器預測:“我當時的工作很無聊。我不得不接受訂單,但我不喜歡它們,所以我每天都在研究它們。” Huth說,這不是確切的匹配 - 解碼器沒有讀出人們聽到的確切聲音 - 但這些想法是相關的。
Huth告訴Live Science:“令人驚訝和酷的事情是,即使我們不使用語言數據,我們也可以做到這一點。” “因此,我們可以在某人觀看無聲視頻時收集的數據,然後我們可以用它來為他們的大腦構建這種語言解碼器。”
研究人員說,使用基於視頻的轉換器將現有解碼器轉移給失語症的人可能有助於他們表達自己的想法。它還揭示了人類代表語言思想和大腦視覺敘事的思想之間的一些重疊。
“這項研究表明,有一些語義表示不在乎它的形式。”Yukiyasu Kamitani京都大學的一名計算神經科學家,沒有參與研究,他告訴Live Science。換句話說,它有助於揭示大腦如何以相同的方式代表某些概念,即使它們以不同的格式呈現。
霍斯說,團隊的下一步是通過失語症測試參與者的轉換器,並“建立一個界面,可以幫助他們產生想要生成的語言。”