“世上本無默片”——通過影象還原聲音的神奇技術!

類別: 新奇

“世上本無默片”——通過影象還原聲音的神奇技術!

#對不住大家,貌似又撞車了,大家就先看看視訊吧... :(

在我們周圍的視覺世界中,即使聽不見聲音也包含著聲音資訊。就在我們看向一張場景再普通不過的照片時——忙碌的地鐵站,或是喧譁的咖啡館——我們能大概想象出那樣的環境中的聲音,演算法也可以,只是精度更高。多虧了分別來自美國天主教大學和麻省理工學院的工程團隊,這樣的演算法已經存在了!

他們的研究成果,簡言之就是一種“簡單快速的光學技術”,這種光學技術可以從高速的無聲影像中提取聲音資訊。來自美國天主教大學的研究團隊解釋說:“它的基本原理就是,在聲波傳播的方向裡,如果有障礙物,聲波會引起障礙物振動”,該團隊由研究員 Zhaoyang Wang 領頭。“雖然物體的振幅通常小到肉眼不可見,但通過影象匹配程式還是能看出振幅。”

振幅的資訊是通過影象對比物體相對位置後收集到的。一些韌性較強的材料,比如紙張,聲音的還原度就更高,因為基本上這些材料的振動和聲波是直接相關的,這樣最原始的聲音資訊就能最大程度被還原。

不過演算法仍然有一些限制,比如環境噪音。Wang 說:“演算法的精度很高,能輕易識別到亞微米級(sub-micron-scale)和奈米級的振動,所以來自目標生源以外的生源會對結果產生影響。雖然大多環境噪音很容易被分離,但還是一些無法被分辨。長距離間空氣密度的變化也會對採集到的影象產生影響,並讓運算結果產生錯誤。”

他們希望這項技術日後能被運用於偵測和還原視訊資訊中的聲音,例如監控視訊中二人的對話等。

今年8月,麻省理工學院的一個研究團隊取得了類似的成果,雖然根據 Wang 的說法,MIT 的還原演算法精度沒有他們的高,不過根據下面的視訊看,也是十分厲害——研究人員通過一杯水或是鋁箔紙等材料還原出了當時的環境音。

下面的視訊中包含該研究團隊所做的實驗,第一個實驗中,畫面左側為所拍攝的高速影響,右邊則是根據葉片振動還原出的音訊;第二個實驗就牛逼了:他們根據地上的一個薯片袋就還原了房間裡所發生的對話(“瑪麗有隻小綿羊...”)——為了讓實驗更具挑戰性,他們甚至將攝像機放在了房間以外,影響是透過視窗所拍攝到的!

[YouTube/Youku]

MIT 的研究員 Abe Davis 對這種技術的設想可比天主教大學“用作刑事調查”的主義要大得多:“我們可是在通過物體來還原聲音。這項技術的運用可以為我們提供一樣物體的多種資訊,比如物體周圍的聲音是什麼樣的——同時,不同的物體被聲波影響的程度也不同,還原出的聲音也會不一樣”。所以它不僅僅只是從畫面中找出隱藏的聲音資訊,它還能提供完整的環境情況。

[keep_beating via Motherboard]

“世上本無默片”——通過影象還原聲音的神奇技術!原文請看這裡