该工具有助于消除计算机视觉中的偏见

普林斯顿大学的研究人员开发了一种工具，用于标记用于训练人工智能(AI)系统的图像集中的潜在偏差。这项工作是纠正和防止AI系统中普遍存在的偏见的一项较大努力的一部分，该偏见影响了从信贷服务到法庭判决程序的所有内容。

尽管AI系统中偏见的来源多种多样，但一个主要的原因是从在线资源收集的大量图像中包含的定型图像，工程师使用这些图像来开发计算机视觉，这是AI的一个分支，允许计算机识别人，物体和动作。由于计算机视觉的基础是建立在这些数据集上的，因此反映社会定型观念和偏见的图像会无意间影响计算机视觉模型。

为了从源头上解决这个问题，普林斯顿视觉AI实验室的研究人员开发了一种开源工具，该工具可以自动发现视觉数据集中的潜在偏差。该工具允许数据集创建者和用户在使用图像收集来训练计算机视觉模型之前纠正代表性不足或刻板印象的问题。在相关工作中，视觉AI实验室的成员发布了现有的防止计算机视觉模型自身偏差的方法的比较，并提出了一种新的，更有效的缓解偏差的方法。

第一个工具称为REVISE(揭示视觉偏见)，它使用统计方法来检查数据集的三个方面：基于对象，基于性别和基于地理位置的潜在偏见或代表性不足。REVISE是一种全自动工具，建立在早期工作的基础上，涉及以需要用户更多指导的方式来过滤和平衡数据集的图像。该研究报告于8月24日在虚拟的欧洲计算机视觉会议上发表。

REVISE使用现有的图像注释和度量来评估数据集的内容，例如对象计数，对象和人的共现以及图像的原产国。在这些测量中，该工具可显示与中值分布不同的图案。

例如，在一个经过测试的数据集中，REVISE显示，男性和女性之间包含人和花朵的图像有所不同：男性在仪式或会议上更经常出现带花的情况，而女性则更倾向于出现在舞台上或绘画中。(分析仅限于反映图像中出现的人的二元性别的注释。)