Echowrist：新的腕带设备使用Echoes，AI检测VR的手位置

该设备称为Echowrist，在各个领域都有潜在的应用虚拟现实（VR）系统，通过手势控制智能手机以及诸如烹饪之类的任务的活动跟踪。它的紧凑型尺寸使其适合商业智能手表，并且可以在标准的智能手表电池上整天运行。

Echowrist是由智能计算机接口开发的最新一波低功率车身姿势跟踪技术的一部分，该技术是智能计算机界面的未来互动（SCIFI）实验室的一部分。

康奈尔·安·鲍尔斯（Cornell Ann S. Bowers）计算与信息科学学院信息科学助理教授Cheng Zhang领导了实验室。

根据张的说法，这只手几乎在所有活动中都起着至关重要的作用，使连续的手姿势跟踪必不可少。 Echowrist为这一需求提供了一种负担得起且高度准确的解决方案。

Echowrist不仅跟踪手动运动，而且还使用户能够控制手势的设备并更有效地提供演示文稿。

该设备雇用了两个安装在腕带上的小扬声器来发出听不清的声波，它们从手中反弹和任何持有的物体。两个麦克风捕获了这些回声，然后由微控制器处理。尽管具有高级功能，但Echowrist还是由小于四分之一的电池提供动力。

研究人员开发了一种受大脑神经元启发的神经网络模型，以根据接收的回声来解释手部姿势。为了训练该模型，他们将Echo配置文件与执行各种手势的用户的视频进行了比较，并准确地重建了20个手关节的位置。

在涉及12名志愿者的测试中，Echowrist在检测物体和动作方面表现出了令人印象深刻的准确性，其准确率为97.6％。该团队称，此功能使交互式食谱应用程序能够跟踪用户的烹饪进度并提供说明，而无需用户触摸屏幕。

研究人员指出，Echowrist在规模和能源效率方面具有显着优势。此外，其声学跟踪功能可增强用户隐私，同时提供与基于摄像机的系统相当的性能。

该技术可以通过准确地重现手动移动而无需笨重的相机设置来彻底改变VR应用程序。它还有可能通过在日常任务中跟踪和解释手姿势来增强AI对人类活动的理解。

尽管Echowrist目前在区分相似形状的物体（例如叉子和汤匙）方面面临挑战，但研究人员对通过进一步的完善来提高其对象识别能力感到乐观。

博士生Chi-jung Lee和研究的联合作者Ruidong Zhang将在计算机机械CHI CHI人为因素的计算系统中的研究中介绍他们的研究（CHI'24）。