日本科學家的AI讀心術:解碼腦電波,還原你心中所想

類別: 互聯網

大資料文摘作品

編譯:驚蟄、一針、龍牧雪

想象一下,如果電腦可以把你心中所想表現出來會怎樣。

聽起來感覺太遙遠?然而最近,四位來自日本京都大學的科學家的研究成果,讓這樣的想象離落地更進一步。Shen Guohua、Tomoyasu Horikawa、Kei Majima 和Yukiyasu Kamitani在BioRxiv上發表了他們利用AI來解碼人類思維的研究成果。

機器學習以前就曾被用來研究腦部掃描(MRI,即核磁共振)。給人類看一些簡單的影象,比如黑白字母、簡單的幾何圖形,AI能根據腦部活動的訊號圖還原人眼所見的影象。這一研究成果曾發表在著名刊物Neurons上。

關注大資料文摘公眾號後臺對話方塊內回覆“腦電波”即可下載以上兩篇論文。

還原效果還不錯

不過這次,京都的這些科學家們開發了一種新技術,利用人工智慧中的深度神經網路(deep neural networks) 來“解碼”思想。這種新技術讓科學家們能夠解碼更復雜的分層影象,即擁有多層顏色和結構的照片(比如一隻鳥,或一個戴著牛仔帽的人)。看一下動圖。左邊是人眼看到的影象,右邊是機器還原的影象。

有點恐怖= =

“我們一直在研究通過觀察人類大腦活動來重建或重現影象的方法。”其中一位科學家Kamitani表示,“以前我們假設影象是由畫素或簡單的形狀組成的,但眾所周知,大腦處理視覺資訊時會分層次地提取不同層次上覆雜度各不相同的的特徵或其他資訊。”

新的AI研究成果可以讓計算機檢測物體,而不僅僅是二進位制畫素。Kamitani說:“這些神經網路構成的AI模型可以用來表示人腦的層次性結構。”

在這項持續10個月的研究中,研究人員給三位受試人員分別展示一段時間的自然影象(比如鳥或人的照片)、抽象幾何形狀或字母。

第一排是受試者所見到的圖片,後面幾排是AI根據3位受試者對這些圖片的不同印象生成的還原圖。

在一部分測試中,當正在觀看25張影象中的一張時,研究人員會測量記錄受試人員的大腦活動。在另一部分的測試中,對大腦活動的記錄是在之後受試人員回想影象時進行的。

測量完大腦活動之後,計算機把收集到的資訊逆向解碼(reverse-engineering)並生成受試人員心中所想的影象。

下面展示的流程圖由京都大學Kamitani實驗室的研究小組製作,並一步一步分解了這種視覺化影象是如何被解碼生成的。

下面兩張圖顯示了受試者觀看自然影象或者字母的影象時大腦活動的計算機重建結果。

用DGN技術生成的其他一些自然景觀影象的重建結果。

黑框和灰框的影象分別是原圖和用DNN網路基於VC活動資料重建之後的影象,

三張重建的圖片分別來自三位受試人員。

字母序列的所有重建結果

在另一組受試者觀看圖片後的回想過程中進行的腦電波測量實驗上,科學家們又有了新的突破。

Kamitani說:“和以前不一樣的是,採用我們的方法可以重建人類在逐漸回憶過程中腦海裡出現的那些模糊的影像。”

如下面的圖表所示,當試圖解碼人們回想影象過程中產生的腦訊號時,AI系統重建出的結果就沒那麼好。那是因為,比起自然影象或字母,人類更難完全確切地記住獵豹或魚的形象。

一些含複雜形象的圖片的重建結果。

右下角的圖片作為空白對照,

是根據測試過程中未被展示圖片時受試產生的腦訊號重建的。

“出現這樣的結果是因為,那個時候大腦的被啟用的程度變弱了。”Kamitani解釋道。

他還提到,隨著技術的精確度正在不斷提高,這一研究成果潛在的應用前景無可限量。

人們可以簡單地通過想象來繪製圖片或進行藝術創作;你的夢想可以被計算機畫出來;可以通過形象化精神病患者的幻覺幫助改善對他們的照顧;而腦機介面可能有一天會實現人與人之間進行想法或腦海中的影象的直接交流,而不再限於語言。

雖然電腦讀心這種事現在聽起來可能來自使用腦電波交流的三體星人,但這些日本研究人員在這一聯絡大腦與計算裝置的前沿研究中並不是孤軍奮戰。

比如,前GoogleX員工 Mary Lou Jepsen致力於在十年內打造一頂可以實現心靈感應的帽子,而企業家Bryan Johnson正在嘗試構建可以植入大腦以改善神經功能的計算機晶片。更不用說Elon Musk的腦機介面公司Neuralink。



日本科學家的AI讀心術:解碼腦電波,還原你心中所想原文請看這裡