傳統的 3D 渲染方法，例如光柵化或光線追蹤即使透過最新一代顯示卡加速，面對日益複雜的顯示場景以及最新遊戲中日益複雜的視覺效果，目前已達到極限。因此，電玩產業正在尋找新的方法來提供更愉快和流暢的體驗，因此近年來出現了使用人工智慧的技術，其主要思想是產生一個框架兩個連續影像的中間值；這就是幀生成的NVIDIA DLSS 3一個你FSR 3 d'AMD。
但這些插值方法有一個主要缺點：它們增加了延遲。這就是為什麼它們通常與其他旨在保持盡可能低延遲的技術相結合，例如GeForce RTX 上的 NVIDIA Reflex。加州大學聖塔芭芭拉分校的英特爾研究人員在一篇研究論文中提出了一種替代方法，稱為GFFE(G 緩衝區自由式幀外推），這次是基於外推法而不是引入先驗沒有額外的延遲。
GFFE：外插圖像而不是內插圖像
經典插值使用深度學習演算法，需要過去和未來幀中存在的數據。 L'外推法的框架僅根據過去圖像的歷史及其資訊合成新圖像。因此，這使得可以提高感知幀速率，同時避免 DLSS 或 DLSS 插值方法引入的延遲。FSR FG。對於遊戲等即時應用程式來說，沒有額外的延遲是一個明顯的優勢。
遮蔽的管理，即出現在當前影像中但隱藏在先前影像中的區域，以及物件運動和陰影的精確估計仍然是外推方法遇到的主要問題。框架。因此，目前研究的重點正是這些：GFFE 使用多種創新技術來克服這些障礙，同時確保高品質的視覺結果並輕鬆整合到現有渲染引擎中。
處理所有三種類型的遮擋，無需 G-Buffer
這遮擋可分為三種類型：當相機移動並顯示先前不可見的區域時出現的離屏遮擋、由於靜止物體阻擋場景中其他元素而導致的靜態遮擋、以及由於移動物體的移動而引起的動態遮擋。因此，先前影像中不存在的這些區域需要來自外推演算法的附加資訊。
傳統的外推方法經常使用“G緩衝液」來指導圖像的生成：這是與場景相關的幾何和材質訊息，例如深度、法線和紋理。然而，它們的使用在效能和記憶體方面可能會很昂貴，特別是在行動裝置上或使用特定管道進行渲染時。
GFFE 的特徵正是在於其無需進行幀外推的能力G緩衝液，因此得名。相反，它使用先前的幀歷史來估計物件運動並處理不同的遮擋類型。 GFFE 的運作是基於創新的啟發式框架和神經網路來分析場景中動態元素的運動。
該方法包括幾個部分：運動估計模組，用於追蹤3D 空間中元素的軌跡並估計其未來位置；背景收集模組，用於維護有關先前幀中隱藏的區域的資訊；自適應渲染視窗模組，用於調整渲染基於相機運動的區域，以及提高視覺一致性的陰影校正神經網路。
GFFE：實施與績效
更準確地說，使用相機的運動向量和投影矩陣，針對每個渲染影像遞歸計算 3D 空間中每個影像元素的軌跡。然後使用線性近似根據每個元素過去的軌跡來估計其未來位置。這種方法允許進行合理的運動估計，同時保持資源效率。
為了處理遮擋，GFFE 使用後台收集系統來維護有關隱藏元素的多層資訊。這些圖層根據渲染的幀進行更新，並且它們的內容將投影到新幀上以填充先前幀中不可見的區域。自適應渲染視窗透過根據相機移動動態擴大渲染區域來管理螢幕外遮蔽。
陰影校正神經網路最終用於提高外推影像的視覺質量，特別是校正可能不遵循與物體相同軌蹟的陰影和反射。此神經網路使用焦點遮罩來定位需要校正的區域，有助於保留影像其餘部分的清晰細節。
在實踐中，所獲得的結果與基於內插法或外推法的結果相當，甚至更好。G緩衝液。 GFFE 因其穩健性和通用性而脫穎而出，能夠在各種場景中提供合理的結果，甚至是那些在訓練期間未使用的場景。最重要的是，GFFE 更有效率且更容易整合到即時 3D 渲染引擎中。
方法尚未完善
然而，GFFE 方法並不完美，仍有一些限制。例如，在幀歷史記錄中從未出現過的遮蔽的情況下，或者在存在不基於深度的視覺效果（例如粒子或遊戲介面）的情況下，它可能會失敗。 。
英特爾研究人員目前的工作仍然代表了該領域的重大進步：他們的解決方案已經可以有效地提高圖形性能，而不會影響視覺質量，或者最重要的是引入延遲額外的。足以為行動應用開啟新視角，雲端遊戲更一般地說，資源有限或特定的平台。
來源 ： 加州大學英特爾
