用人工智能动作捕捉翻译“行为语言”

你可能已经看过好莱坞明星的“动作捕捉”套装，穿着全身服装，充​​满传感器，让电脑将它们变成绿巨人或龙或魔法野兽。

现在，普林斯顿教授Mala Murthy和Joshua Shaevitz的实验室之间的合作更进一步，利用人工智能(AI)的最新进展，在现有视频中自动跟踪动物的个体部位。

他们的新工具LEAP Estimates Animal Pose(LEAP)可以在几分钟内训练，以高精度自动跟踪数百万帧视频中动物的各个身体部位，而无需添加任何物理标记或标签。

“该方法可广泛用于动物模型系统，它可用于测量具有基因突变或药物治疗的动物的行为，”分子生物学和普林斯顿神经科学研究所(PNI)副教授Murthy说。 。

详细介绍新技术的论文将发表在2019年1月出版的“自然方法”杂志上，但其5月发布的开放版本已经导致该软件被许多其他实验室采用。

当研究人员将LEAP与他们实验室开发的其他定量工具结合起来时，他们可以通过观察动物身体运动的模式来研究他们所谓的“行为语言”，物理学教授和Lewis-Sigler综合基因组学研究所的Shaevitz说。 。

“这是一个灵活的工具，原则上可以用于任何视频数据，”作为该论文第一作者的PNI研究生Talmo Pereira说。“它的工作方式是在几个视频中标记几个点，然后神经网络完成其余部分。我们提供了一个易于使用的界面，任何人都可以将LEAP应用到自己的视频中，而无需任何先前的编程知识。 “

当被问及LEAP是否对大型哺乳动物的效果与大多数初始受试者的苍蝇和老鼠一样好时，Pereira立即制作了一个动态标记的长颈鹿视频，取自肯尼亚Mpala研究中心的现场饲料，普林斯顿是一个管理合作伙伴的实地研究站。

“我们从Mpala研究站拍摄了一只步行长颈鹿的视频......并在30个视频帧中标记了点，这花了不到一个小时，”佩雷拉说。“LEAP随后能够在几秒钟内跟踪整个视频的剩余部分(大约500帧)。”

以前开发可以跟踪人体运动的AI工具的努力依赖于大量的手动注释数据训练集。这使得软件可以在各种数据上稳健地工作，具有截然不同的背景或照明条件。

“在我们的案例中，我们优化了类似的方法来处理在实验室环境中收集的数据，其中条件在记录中是一致的，”Murthy说。“我们建立了一个系统，允许用户选择适合用户收集的数据类型的神经网络，而不是受到其他研究人员或公司工作的限制。”

该项目源于Murthy实验室的高级论文学生，2018年级的Diego Aldarondo和他的研究生导师Pereira之间的独特合作，他由Murthy和Shaevitz共同建议。

“迭戈正在探索使用深度神经网络通过他在普林斯顿的一个计算机科学课程中注释动物行为数据，并在实验室与Talmo进行深夜聊天，他意识到这些方法可以有力地应用于他们自己的数据：果蝇在求偶仪式中互动的视频，“Murthy说。“合作从那里开始，共同合作令人难以置信 - 迭戈和Talmo展示了这些AI方法的有效性。”

英国皇家兽医学院结构与运动实验室的高级讲师Monica Daley表示，这项工作在神经科学之外也具有巨大的潜力，他没有参与这项研究。

“我的大部分研究旨在了解动物如何在不同的地形和环境条件下有效地移动，”戴利说。“该领域最大的持续挑战之一是从视频片段中提取有关动物运动的有意义的信息。我们要么手动处理视频，需要花费数小时的繁琐工作，要么专注于可以自动化的非常简单和有限的分析。在本文中，我们有可能比以前更加自动化劳动密集型工作，这可以让我们研究更多种类的动物运动行为。“

一旦他们拥有运动和行为数据库，团队中的神经科学家就可以与他们背后的神经过程建立联系。这将使研究人员“不仅可以更好地了解大脑如何产生行为，”Shaevitz说，“而且还要探索依赖计算机解释某人行为的未来诊断和疗法。”

哈佛大学的研究人员在夏季分享了一个类似的工具，他们使用现有的神经网络架构，而普林斯顿大学的团队创建了自己的工具。“我们的方法和他们的方法有不同的优势，”Murthy说。“现在这是一个令人难以置信的令人兴奋的领域，在开发用于研究行为和神经活动的AI工具方面有很多活动。”

“我们使用不同的方法，通过专注于快速专注于新数据集，更小，更精简的网络可以实现高精度，”佩雷拉说。“更重要的是，我们表明现在有通过AI进行动物姿势跟踪的易用选项，我们希望这可以鼓励该领域开始采用更加量化和精确的方法来衡量行为。”

“在过去五年中，神经科学在技术观察和操纵大脑活动方面取得了巨大进步，”共同作者，分子生物学和PNI教授Samuel Wang说。“现在，行为的自动分类为该技术增添了重要的补充。普林斯顿正在成为计算神经伦理学萌芽领域的中心枢纽。”