使用单个可穿戴式摄像机的人体动作捕捉系统

东京工业大学(Tokyo Tech)和卡内基梅隆大学的研究人员共同开发了一种新的人体动作捕捉系统，该系统由安装在用户胸部的单个超宽鱼眼摄像头组成。其系统的简单性可能有利于体育，医疗和娱乐领域的广泛应用。

由于集成深度学习的最新发展，基于计算机视觉的技术正在迅速发展。尤其是，人类动作捕捉是一个非常活跃的研究领域，例如推动了机器人技术，计算机生成的动画和体育科学领域的发展。

在专门配备的工作室常规动作捕捉系统通常依赖于具有固定在天花板和墙壁是由一个人捕捉运动穿几个同步的摄像机机身套装配有众多的传感器。这样的系统通常非常昂贵，并且在穿戴者可以移动的空间和环境方面受到限制。

现在，由东京工业大学的小池秀树(Hideki Koike)领导的一组研究人员展示了一种新的运动捕捉系统，该系统由安装在用户胸部的单个超宽鱼眼摄像机组成。他们的设计不仅克服了现有系统的空间限制，而且具有成本效益。

该系统名为MonoEye，可以捕获用户的身体运动以及用户的视角或“视口”。研究人员说：“我们的超广角鱼眼镜头具有280度的视野，它可以捕获用户的四肢，面部和周围环境。”

为了实现强大的多模式运动捕捉，该系统已设计了三个深度神经网络，能够实时估计3-D人体姿势，头部姿势和相机姿势。

研究人员已经使用广泛的合成数据集训练了这些神经网络，该数据集包括680,000张具有各种身体形状，衣服，动作，背景和光照条件的人的渲染图，以及16,000张逼真的图像帧。

但是，由于合成数据集和实际数据集之间不可避免的领域鸿沟，仍然存在一些挑战。研究人员计划继续使用更多具有真实感的图像来扩展其数据集，以帮助最大程度地减少这一差距并提高准确性。

研究人员预想，将来可以将这种安装在胸部的摄像头转换成日常用品，例如领带夹，胸针或运动装备。

该团队的工作将在2020年10月20日至23日举行的第33届ACM用户界面软件和技术研讨会(UIST)上发表，这是人机界面创新的领先论坛。