使用腕戴式相机进行3D手势估算

东京工业大学(Tokyo Tech)的研究人员与卡内基梅隆大学，圣安德鲁斯大学和新南威尔士大学的同事合作，开发了一种腕戴式设备，用于3D手势估计。该系统由一个摄像头组成，该摄像头捕获手背的图像，并由称为DorsalNet的神经网络支持，该神经网络可以准确识别动态手势。

能够跟踪手势对于推进增强现实(AR)和虚拟现实(VR)设备至关重要，而增强现实和虚拟现实设备已经在医疗，体育和娱乐领域开始大量需求。迄今为止，这些设备已经涉及使用笨重的数据手套，该手套往往会阻碍自然运动，或者使用的传感器范围有限。

现在，由东京工业大学的小池秀树(Hideki Koike)领导的研究小组设计了一种基于相机的腕戴式3D手势识别系统，该系统将来可能与智能手表相提并论。他们的系统可以重要地允许在移动设置中捕获手部动作。

研究人员说：“这项工作是第一个利用来自手背区域视觉特征的基于视觉的实时3-D手势估计器。” 该系统由一个名为DorsalNet的神经网络支持的摄像机组成，该神经网络可以通过检测手背的变化来准确估计3-D手的姿势。

研究人员证实，他们的系统在识别动态手势方面比以前的工作平均精度高出20%，并且在检测11种不同的抓握类型方面达到了75%的精度。

这项工作可以促进支持裸手交互的控制器的开发。在初步测试中，研究人员证明可以将其系统用于智能设备控制，例如，只需更改手指角度即可更改智能手表上的时间。他们还表明可以将该系统用作虚拟鼠标或键盘，例如通过旋转手腕来控制指针的位置并使用简单的8键键盘输入输入。

他们指出，对系统的进一步改进，例如使用具有更高帧频的相机来捕捉快速的手腕运动，并能够在现实世界中使用，能够应对更多不同的光照条件。