使用智能手机或电脑摄像头的新系统可以帮助未来的个性化远程医疗预约

远程医疗已成为医生在 期间尽可能减少面对面接触的同时提供医疗保健的重要方式。但是，通过电话或 Zoom 预约，医生很难从患者身上实时获取重要的生命体征，例如脉搏或呼吸频率。华盛顿大学领导的一个团队开发了一种方法，该方法使用一个人的智能手机或计算机上的摄像头，从他们面部的实时视频中获取他们的脉搏和呼吸信号。研究人员 在 12 月的神经信息处理系统会议上展示了这个最先进的系统。

现在，该团队正在提出一种更好的系统来测量这些生理信号。该系统不太可能被不同的相机、光照条件或面部特征(例如肤色)绊倒。研究人员将 在 ACM 健康、干扰和学习会议上展示这些发现。

“机器学习非常擅长对图像进行分类。如果你给它一系列猫的照片，然后告诉它在其他图像中找到猫，它就可以做到。但是为了让机器学习有助于远程健康传感，我们需要一个系统来识别视频中的感兴趣区域，该视频拥有最强的生理信息来源——例如脉搏——然后随着时间的推移进行测量，”负责人说作者 Xin Liu，华盛顿大学 Paul G. Allen 计算机科学与工程学院的博士生。

“每个人都是不同的，”刘说。“所以这个系统需要能够快速适应每个人独特的生理特征，并将其与其他变化区分开来，比如他们的样子和他们所处的环境。”

该团队的系统可以保护隐私——它在设备上而不是在云端运行——并使用机器学习来捕捉光线从人脸反射的细微变化，这与血流变化有关。然后它将这些变化转换​​为脉搏和呼吸频率。

该系统的第一个版本使用包含人脸视频和“地面实况”信息的数据集进行训练：每个人的脉搏和呼吸频率由现场标准仪器测量。然后系统使用来自视频的空间和时间信息来计算这两个生命体征。它在主题移动和说话的视频上优于类似的机器学习系统。

但是，尽管该系统在某些数据集上运行良好，但它仍然与包含不同人物、背景和光照的其他数据集相抗衡。该团队表示，这是一个常见的问题，称为“过度拟合”。

研究人员通过让系统为每个人生成个性化的机器学习模型来改进系统。具体来说，它有助于在视频帧中寻找重要区域，这些区域可能包含与不同背景下面部血流变化相关的生理特征，例如不同的肤色、光照条件和环境。从那里，它可以专注于该区域并测量脉搏和呼吸率。

该团队表示，虽然这个新系统在提供更具挑战性的数据集时优于其前身，尤其是对于肤色较深的人，但仍有更多工作要做。

“我们承认，当受试者的皮肤类型较深时，仍然存在表现较差的趋势，”刘说。“这部分是因为光线在较深的皮肤上反射的方式不同，导致相机接收到的信号较弱。我们的团队正在积极开发新方法来解决这一限制。”

研究人员还在与医生进行各种合作，以了解该系统在临床中的表现。

“任何远程感知脉搏或呼吸频率的能力都为远程患者护理和远程医疗提供了新的机会。这可能包括自我护理、后续护理或分类，特别是当某人无法方便地前往诊所时，”资深作者、艾伦学院和电气与计算机工程系教授Shwetak Patel说 。“很高兴看到学术界正在研究新的算法方法，以通过人们在家中拥有的设备来解决这个问题。”