传统的 3D 渲染方法，例如光栅化或光线追踪即使通过最新一代显卡加速，面对日益复杂的显示场景以及最新游戏中日益复杂的视觉效果，目前也已达到极限。因此，视频游戏行业正在寻找新的方法来提供更加愉快和流畅的体验，因此近年来出现了使用人工智能的技术，其主要思想是产生一个框架两个连续图像的中间值；这就是帧生成的NVIDIA DLSS 3一个你FSR 3 d'AMD。
但这些插值方法有一个主要缺点：它们增加了延迟。这就是为什么它们通常与其他旨在保持尽可能低延迟的技术相结合，例如GeForce RTX 上的 NVIDIA Reflex。加州大学圣塔芭芭拉分校的英特尔研究人员在一篇研究论文中提出了一种替代方法，称为GFFE（G 缓冲区自由帧外推），这次基于外推法而不是引入先验没有额外的延迟。
GFFE：外插图像而不是内插图像
经典插值使用深度学习算法，需要过去和未来帧中存在的数据。 L'外推法的框架仅根据过去图像的历史及其信息合成新图像。因此，这使得可以提高感知帧速率，同时避免 DLSS 或 DLSS 插值方法引入的延迟。FSR FG。对于游戏等实时应用程序来说，没有额外的延迟是一个明显的优势。
遮挡的管理，即出现在当前图像中但隐藏在先前图像中的区域，以及对象运动和阴影的精确估计仍然是外推方法遇到的主要问题。框架。因此，当前研究的重点正是这些：GFFE 使用多种创新技术来克服这些障碍，同时确保高质量的视觉结果并轻松集成到现有渲染引擎中。
处理所有三种类型的遮挡，无需 G-Buffer
这遮挡可以分为三种类型：当相机移动时出现的屏幕外遮挡，并显示以前不可见的区域、由于静止物体阻挡场景中其他元素而导致的静态遮挡、以及由于移动物体的移动而引起的动态遮挡。因此，先前图像中不存在的这些区域需要来自外推算法的附加信息。
传统的外推方法经常使用“G缓冲液”来指导图像的生成：这是与场景相关的几何和材质信息，例如深度、法线和纹理。然而，它们的使用在性能和内存方面可能会很昂贵，特别是在移动设备上或使用特定管道进行渲染时。
GFFE 的特点正是在于其无需进行帧外推的能力G缓冲液，因此得名。相反，它使用先前的帧历史来估计对象运动并处理不同的遮挡类型。 GFFE 的运行基于创新的启发式框架和神经网络来分析场景中动态元素的运动。
该方法包括几个部分：运动估计模块，用于跟踪 3D 空间中元素的轨迹并估计其未来位置；背景收集模块，用于维护有关先前帧中隐藏的区域的信息；自适应渲染窗口模块，用于调整渲染基于相机运动的区域，以及提高视觉一致性的阴影校正神经网络。
GFFE：实施和绩效
更准确地说，使用相机的运动矢量和投影矩阵，针对每个渲染图像递归计算 3D 空间中每个图像元素的轨迹。然后使用线性近似根据每个元素过去的轨迹来估计其未来位置。这种方法允许进行合理的运动估计，同时保持资源效率。
为了处理遮挡，GFFE 使用后台收集系统来维护有关隐藏元素的多层信息。这些图层根据渲染的帧进行更新，并且它们的内容将投影到新帧上以填充先前帧中不可见的区域。自适应渲染窗口通过根据相机移动动态扩大渲染区域来管理屏幕外遮挡。
阴影校正神经网络最终用于提高外推图像的视觉质量，特别是校正可能不遵循与物体相同轨迹的阴影和反射。该神经网络使用焦点蒙版来定位需要校正的区域，有助于保留图像其余部分的清晰细节。
在实践中，所获得的结果与基于内插法或外推法的结果相当，甚至更好。G缓冲液。 GFFE 因其稳健性和通用性而脱颖而出，能够在各种场景中提供合理的结果，甚至是那些在训练期间未使用的场景。最重要的是，GFFE 更高效且更容易集成到实时 3D 渲染引擎中。
方法尚未完善
然而，GFFE 方法并不完美，仍然存在一些局限性。例如，在帧历史记录中从未出现过的遮挡的情况下，或者在存在不基于深度的视觉效果（例如粒子或游戏界面）的情况下，它可能会失败。阴影和高光校正有时可能会失败。由于缺乏未来图像的信息而不完美。
英特尔研究人员目前的工作仍然代表了该领域的重大进步：他们的解决方案已经可以有效地提高图形性能，而不会影响视觉质量，或者最重要的是引入延迟额外的。足以为移动应用开辟新视角，云游戏更一般地说，资源有限或特定的平台。
来源 ： 加州大学英特尔
