谷歌的人工智能应用程序可用性测试有望提升人类的准确性

智能手机用户会进行大量的点击 - 这是他们启动应用程序，输入文本，多任务等的方式。问题是，可点击按钮并不总是很容易区分不可点击的元素，虽然可用性研究在一定程度上防止了令人困惑的UI元素进入开放状态，但测试的结果必然仅限于特定的应用程序和设计。

谷歌人工智能研究部门的研究人员在一篇新论文(“ 使用众包和深度学习建模移动界面可用性 ”)和随附的博客文章中提出了一个替代方案- 一个众包任务，调查各种应用程序中的元素，以衡量他们的“感知的适应性” “他们说，在实验中，AI模型的预测与90%%水平的基线一致，他们认为这表明它可以避免手动测试的需要。

本文的作者首先分析潜在的视觉属性或能指，影响应用程序中的可应用性(如元素类型，位置，大小，颜色和单词)，然后众包志愿者标记大约20,000个独特元素的“可点击性”，大约3,500个应用。他们使用这些样本来训练神经网络 - 以生物神经元为模型的数学函数层 - 考虑到包括位置，单词，类型和大小在内的特征，以及从原始像素中提取特征并利用学习嵌入的卷积神经网络(实数的向量)来表示文本内容和元素属性。馈入完全连接的网络层的特征以二进制形式输出给定元素的可读性。

为了验证该模型，研究团队编制了一份来自290名志愿者的数据集，这些志愿者的任务是在其感知的适应性方面标记2,000个元素中的每一个，每个元素由五个不同的用户独立标记。他们发现，样本中超过40%%的元素被志愿者标记为不一致，这与人工智能系统相当。此外，他们报告说，他们的方法得出了更明确的答案(tappable接近“1”的概率和“tappable”接近“0”的概率)，平均精度达到90.2%%，召回率达到87%%，与人类感知相匹配。

“攻击是移动界面上最常用的手势，用于触发各种动作，从启动应用程序到输入文本...... [但]预测可执行性只是我们可以用机器学习来解决可用性的一个例子用户界面问题，“谷歌人工智能研究科学家杨力写道。“在交互设计和用户体验研究方面还有许多其他挑战，深度学习模型可以提供一个工具来提炼大型，多样化的用户体验数据集，并促进对交互行为的科学理解。