后人工智能为摄影服务,英伟达已经将人工智能应用于视频,更具体地说,是慢动作或慢动作,用良好的法语。
这位图形处理器设计师刚刚发布了一段视频,展示了其最新技术之一 Super SloMo 的强大功能,该技术通过人工智能得到增强,这很可能会对该类型的粉丝产生影响。
请给我一个慢动作视频
一些智能手机、消费类相机和摄像机提供慢动作捕捉模式,但它们的质量和性能根据电子元件(尤其是处理器)的功率而有很大差异。您还需要大量的存储空间来容纳以这种方式拍摄的所有灯芯草。
最终,只有使用专业设备,我们才能获得高质量的慢动作镜头,但即使如此,它们也经常在后期制作中进行数小时的修饰。
但最困难的部分是根据经典序列创建慢动作视频,以每秒 30 或 60 帧的速度拍摄。一般来说,所使用的软件——无论它多么强大和专业——都会尝试补偿丢失的图像,但不会成功。动作会有点生涩,因此不完全自然。
英伟达与几位美国研究人员一起研究了这个问题,并提出了很多建议特斯拉V100和一个系统深度学习GPU 设计者 PyTorch(基于 CUDA 的网络)训练了能够产生高质量慢动作的人工智能。
该训练主要基于观看 11,000 个以每秒 240 帧拍摄的视频。正是由于这一点,人工智能才能吸收视频中动作相互跟随的方式,然后更好地分解它们并预测它们。
两个网络同时工作
在技术层面,我们的同事来自 VentureBeat 网站解释两个不同的卷积神经网络协同工作。他们确定移动物体的位置、性质、在视频帧中的位置,然后可以想象 A 点和 B 点之间的所有中间帧。这也使他们能够预测构成视频帧的像素的位置。要插入两个真实图像之间的视频帧。
然后,网络负责清除图像中的任何伪影和扭曲并应用一些效果。通过这种方式,人为减慢的运动看起来很流畅,几乎就像是用昂贵的相机拍摄的一样自然,每秒可以拍摄数百帧,亮度高,质量好。
然而,目前英伟达仍然坚信这项技术尚未准备好进入大众市场。许多优化仍然是必要的,特别是对于动态或实时视频处理。确实,目前所有计算都是在云端进行,需要几个小时……