虚拟宇宙的概念并不是什么新鲜事,但它似乎是新的数字黄金国,它将填满我们的白天,陪伴我们的夜晚。科技巨头正在解决这个问题,并消除技术限制,使其更加现实。因此,Nvidia 开发了一种能够每秒生成超过 20 个逼真 3D 对象的 AI……
这个科技星球几乎一无所有,只剩下这个词:“元宇宙”。 Facebook 更名为 Meta,是为了表明马克·扎克伯格的公司对这个虚拟世界的重视程度,这个虚拟世界给我们带来了许多奇迹。
无论如何,显然还有其他科技公司在虚拟宇宙上投入了大量资金。从逻辑上讲,Nvidia 就是其中之一,因为 Jensen Huang 的公司生产显卡,处于 3D 领域的前沿,并且已经致力于开发专用工具一段时间了。受洗全方位宇宙目前主要面向专业人士,但当然也不排除普通大众,正如上周GTC开幕前各公司发言人提醒我们的那样。
繁殖、生长和繁殖……
考虑到英伟达面临的挑战,圣克拉拉公司在该领域的大力投资也就不足为奇了。其投资成果最近取得了令人印象深刻的转变,可以极大地促进用户沉浸在这个未来的虚拟世界中。
对于任何玩过 MMORPG 甚至《第二人生》的人来说,很明显,虚拟宇宙的主要挑战之一是角色、动物,有时甚至只是各种无生命物体的存在。然而,对 3D 对象进行建模既昂贵又耗时。
毫无疑问,这就是为什么英伟达研究院的工程师们承担了一项看似简单但实际上很复杂的任务:开发能够“用 3D 对象和角色填充虚拟世界”。
为此,他们创建了 GET3D:这是 AI 的名称,它来自于生成纹理 3D 网格的能力 - 生成显式纹理 3D。它能够生成可直接由3D引擎使用的3D渲染。更好的是,与之前为此类任务开发的模型不同,GET3D 成功地生成了几何细节的 3D 元素,同时生成了高质量的纹理。
最令人印象深刻的是,所使用的生成对抗网络(GAN)能够从简单的合成图像中获得这些结果。换句话说,人工智能能够从二维图像生成 3D 物体。这对于椅子、房子或狗来说都同样有效。通常,人工智能需要从多个角度拍摄物体的照片,然后才能生成 3D 渲染。这花费了更多时间并限制了此类工具的潜力。
但对于 GET3D,这种限制似乎已成为历史。更好的是,用于训练神经网络的数据集越多样化(例如许多狗品种的照片),它能够产生的 3D 结果就越不同。因此,如果用汽车图像进行训练,它将能够生成豪华轿车、轿车、皮卡车等的 3D 渲染图。
据 Nvidia 称,GET3D 能够使用单个 Nvidia GPU 每秒生成多达 20 个形状。然后它就起作用了“就好像它是 2D 图像的生成对抗网络,同时它生成 3D 对象”,该公司在一篇博客文章中解释道。同样,圣克拉拉公司指出,只花了两天时间和一百万张图像来训练算法。
英伟达的想法又大又远。他希望他的 GET3D 能够成为 3D 内容生产链的一部分。因此,由该 AI 创建的模型可以导入到 3D 文件编辑工具中,然后可以轻松修改(从形状到建议的纹理)。
还可以导出文件并向其应用逼真的灯光效果,例如,当相机围绕其旋转时,该对象看起来比实际的要大。
通过使用 Nvidia Research 开发的另一种工具(称为 StyleGAN-NADA),还可以走得更远。使用关键字,图形设计师可以修改对象的外观。例如,将汽车的 3D 渲染变成出租车或烧毁的残骸。
短期内……
在不久的将来,开发 GET3D 的研究人员相信,可以直接将其用于真实照片。这意味着人工智能将能够推断拍摄信息来确定被拍摄物体的 3D 形状。
更好的是,虽然目前 GET3D 必须针对每种类型的物体或动物进行单独训练,但很快就可以同时向其提交汽车、狗、猫、人、船等的照片。所有这些都将立即被摄取,然后人工智能将能够生产每个类别的对象。再次,实时节省时间,并且可以更快地填充虚拟宇宙。
因此,明天,我们对虚拟世界的访问将更加现实,或者至少更加充满我们周围并构成我们日常生活的众多小事。您将能够进入一间装饰得像真实房间一样的房间。它甚至可能是您公寓的“数字双胞胎”,但拥有您梦想中的四柱床……您想知道哪一个是最好的?由于你在虚拟宇宙中仍然没有一条腿,所以当你早上起床时,你的大脚趾不可能撞到踏板上。当我们告诉你虚拟宇宙就是未来时......
来源 : 英伟达博客