基于深度学习的系统用于估计自由移动的猕猴的3D姿势

为了更好地了解人类的行为和认知以及它们的神经基础，研究人员经常研究具有类似特征的其他哺乳动物。这些研究中最常见的物种之一是恒河猴，这是一种古老的猴子，原产于南亚，中亚和东南亚。

恒河猴作为无数神经科学，心理学医学和人类学研究的动物模型，因为它们与人类共享许多行为模式和生物学特征。例如，它们被证明对研究感染，中风，艾滋病和其他健康状况有用。

明尼苏达大学的研究人员最近开发了OpenMonkeyStudio，这是一个基于深度学习的运动捕获系统，可用于研究自由移动的猕猴的行为。该系统发表在《自然通讯》上的一篇论文中，可以估计3-D猕猴自由移动的姿势，这对于研究动物彼此之间以及与周围环境的相互作用特别有价值。在这种情况下，“姿势”一词是指动物的主要身体部位相互之间以及周围环境的位置。

研究人员在论文中解释说：“目前，可以通过基于商业标记的运动捕捉系统(例如，Vicon，OptiTrack和PhaseSpace)以高精度完成姿态估计，” “但是，猕猴特别不适用于这些基于标记的系统。”

由于多种原因，大多数使用标记的传统捕获系统很难应用于猕猴。首先，猕猴的皮毛长而致密，这使标记物的附着特别具有挑战性，并且高度灵活的皮肤会导致标记物随着动物在环境中的移动而移动。另外，由于猕猴是高度敏捷和好奇的生物，因此它们通常会试图去除标记并在被迫穿紧身衣或夹克时感到非常不舒服。

因此，研究人员一直在尝试设计不依赖可有效跟踪猕猴运动的标记的运动捕捉系统。尽管基于深度学习的图像中人体姿势估计技术可能是可行的解决方案，但它们通常需要大量的训练数据才能表现良好，有时还需要手动对其进行注释。

明尼苏达大学的团队开发的OpenMonkeyStudio是一种无标记的3-D姿势估计系统，它是使用完全监督的学习方法进行训练的。与先前提出的用于跟踪猕猴运动的深度学习技术相反，该系统不需要在大量现有的手动注释数据集上进行训练。

研究人员在论文中写道：“我们的系统使用62台摄像机，这些摄像机可提供多视图图像流，这些图像流可通过利用3-D多视图几何来显着扩展注释数据。” “尽管如此大量的摄像头对于训练姿势检测器至关重要，但生成的模型可以在摄像头较少的其他系统中使用(例如，由其他实验室使用)，而无需进行训练。”

研究人员通过一系列涉及四只雄性恒河猴的实验对OpenMonkeyStudio进行了评估。在这些测试中，他们的系统达到了惊人的精度，优于当今市场上一些最佳的基于标记的运动捕捉系统(即OptiTrack，NaturalPoint，Corvallis和OR)。此外，发现OpenMonkeyStudio可以很好地概括不同猕猴，并且还可以同时跟踪两个对象的运动。

除了开发可以帮助研究猕猴行为的运动捕捉系统之外，研究人员还编译了一个新的数据集，其中包含195,228个带注释的图像，称为OpenMonkeyPose。将来，该数据集(可在GitHub上获得)可用于训练基于深度学习的替代系统，以跟踪恒河猴的运动。