後人工智慧為攝影服務,英偉達已經將人工智慧應用於視頻,更具體地說,是慢動作或慢動作,用良好的法語。
這位圖形處理器設計師剛剛發布了一段視頻,展示了其最新技術之一 Super SloMo 的強大功能,該技術通過人工智能得到增強,這很可能會對該類型的粉絲產生影響。
請給我一個慢動作視頻
一些智慧型手機、消費性相機和攝影機提供慢動作捕捉模式,但它們的品質和性能根據電子元件(尤其是處理器)的功率而有很大差異。您還需要大量的儲存空間來容納以這種方式拍攝的所有燈芯草。
最終,只有使用專業設備,我們才能獲得高品質的慢動作鏡頭,但即使如此,它們也經常在後製中進行數小時的修飾。
但最困難的部分是根據經典序列創建慢動作視頻,以每秒 30 或 60 幀的速度拍攝。一般來說,所使用的軟體——無論它多麼強大和專業——都會嘗試補償丟失的圖像,但不會成功。動作會有點生澀,因此不完全自然。
英偉達與幾位美國研究人員一起研究了這個問題,並提出了許多建議特斯拉V100和一個系統深度學習GPU 設計者 PyTorch(基於 CUDA 的網路)訓練了能夠產生高品質慢動作的人工智慧。
該訓練主要基於觀看 11,000 個以每秒 240 幀拍攝的影片。正是由於這一點,人工智慧才能吸收影片中動作相互跟隨的方式,然後更好地分解它們並預測它們。
兩個網路同時工作
在技術層面,我們的同事來自 VentureBeat 網站解釋兩個不同的捲積神經網路協同工作。他們確定移動物體的位置、性質、在視訊畫面中的位置,然後可以想像 A 點和 B 點之間的所有中間影格。影像之間的視訊幀。
然後,網路負責清除影像中的任何偽影和扭曲並應用一些效果。透過這種方式,人為減慢的運動看起來很流暢,幾乎就像是用昂貴的相機拍攝的一樣自然,每秒可以拍攝數百幀,亮度高,品質好。
然而,目前英偉達仍然堅信這項技術尚未準備好進入大眾市場。許多優化仍然是必要的,特別是對於動態或即時視訊處理。確實,目前所有運算都是在雲端進行,需要幾個小時…