一个新的进步AI技术正在提供革新我们在3D中捕获和编辑现实生活对象的方式的潜力。
加拿大西蒙·弗雷泽大学（Simon Fraser University）（SFU）的研究人员推出了一种称为接近注意点渲染（PAPR）的技术，该技术将2D照片转换为可编辑3D型号。
用户不仅可以仅依靠传统的2D摄影，还可能很快就可以使用智能手机创建复杂的3D捕获。
PAPR技术
SFU研究人员在2023年神经信息处理系统会议上展示的PAPR技术拍摄了一系列对象的2D照片，然后将它们转换为3D点的云，有效地代表了对象的形状和外观。
SFU计算机科学助理教授，本文的高级作者Ke Li博士强调了AI和机器学习对重塑从2D图像重建3D对象的过程的重大影响。
这些技术在计算机视觉等领域的成功激发了研究人员探索在3D图形管道中利用深度学习的新途径。
挑战在于找到一种表示允许直观编辑的3D形状的方法。研究人员称，先前的方法，例如神经辐射场（NERFS）和3D高斯裂口（3DGS），在形状编辑方面存在局限性。
突破性发生在开发机器学习模型之后，能够使用一种称为接近性关注的新机制学习插装器。
这种方法允许点云中的每个3D点充当连续插值器中的控制点，从而促进直观形状的编辑。用户可以通过调整各个点并改变其形状和外观来轻松操纵对象。
此外，可以从各个角度查看渲染的3D点云并将其转换为2D照片，从而提供了对编辑对象的现实视图。
AI驱动的范式转移
“ AI和机器学习确实在推动了从2D图像重建3D对象的范式转移。计算机视觉和自然语言等领域的机器学习取得了显着的成功，这激发了研究人员，研究人员研究了如何将传统的3D图形管道用于如何通过相同的基于深度学习的构件来重新工程，从而负责延迟逃亡的AI AI成功故事，”说李。
他补充说：“事实证明，成功做到这一点要比我们预期的要难得多，并且需要克服一些技术挑战。最让我兴奋的是，这给消费者技术带来的许多可能性可能与今天的2D一样常见的视觉交流和表达媒介一样普遍。”
该研究的结果是出版在Arxiv中。
