Meta 研究人员在 YouTube 上发布了一段视频，演示了 Quest 2 虚拟现实耳机在不使用额外传感器的情况下检测身体运动的可能性：
视频显示一名男子正在做出动作并传输到他的虚拟复制品。头部和手的位置是使用耳机和控制器上的传感器确定的，但身体其他部位（肘部、躯干、腿部）的位置通常需要额外的传感器。例如，HTC 提供 Vive 追踪器，这是一种可以附着在手臂或腿上的小盒子。但你必须支付至少3次139欧元才能进行全身检测。
Meta 的壮举是不需要这些额外的传感器，并且能够使用神经网络来估计身体的位置。正如研究人员在他们的研究中解释的那样发布:
“我们证明，使用物理模拟可以通过以物理上合理的方式合成尺寸姿势来补偿丢失的传感器信息。 »
因此，神经网络尝试根据其拥有的数据找到合理的身体位置。在视频中，我们看到虚拟角色的位置并不荒谬，看起来与真实角色的位置非常接近。研究人员表示，所获得的结果优于由陀螺仪和加速计组成的 IMU（惯性测量单元）型盒子所能提供的结果。
粗略的方法
如果神经网络计算出的虚拟人物身体的位置是合理的，那么它并不完全准确，如下面的截图所示（右手的位置）：
此外，当前的技术具有相当高的延迟：160 毫秒，相当于 72 Hz 下超过 11 帧，但在未来，这可以为 Meta 的躯干头像添加腿：
但正如研究人员在其出版物末尾所解释的那样，仍有工作要做。例如，模拟的化身可能仍然显得僵硬且不自然。此外，不同的用户不具有相同的构建，而当前的计算同等地线性缩放骨架的所有元素：
“未来，我们希望为我们的系统提供有关骨骼和身体形状的更详细信息。 »
最后，研究人员希望增加化身可以模仿的动作的多样性，以使它们更加真实。
来源 ： 上传VR
