Facebook现在描述自动生成的照片描述中的操作

在Facebook今天在纽约举办的机器学习@Scale会议上，Facebook宣布它正在增强机器生成的照片描述，这些描述可以在屏幕阅读器中找到，例如适用于iOS的VoiceOver。

现在，您可以使用浏览器的网络上的检查元素功能在没有屏幕阅读器的情况下查看说明，并将考虑所捕获的操作。例如，如果看到一组人在照片中敲击，则标题可能指定人们正在演奏乐器，而不是简单地提及人和鼓。具体来说，有12个新动作可以包含在照片的自动替代文本中，Facebook应用机器学习总监JoaquinQuiñoneroCandela在博客文章中写道。

这听起来可能不是一个很大的变化。但对于那些依赖屏幕阅读器来收集有关正在发生的事情的人 - 例如盲人 - 这些变化可能有助于他们更好地了解他们的Facebook好友在新闻Feed中分享的内容。毕竟，人们在他们发布的照片​​旁边包含的文字并不总能完美地说明正在发生的事情。

Facebook于去年4月首次推出了自动替代文字。这是Facebook利用人工智能的几种方式之一。Apple，Google，Twitter和其他公​​司也试图在他们的服务中使用AI。微软甚至致力于在Word和PowerPoint中使用AI自动制作图像标题。

但除此之外，Facebook还想出了一种新方法来查找符合最终用户搜索条件的照片。

“换句话说，在搜索'黑色衬衫照片'时，系统可以”看到“照片中是否有黑色衬衫，并根据该衬衫进行搜索，即使照片没有标记该信息。使用Facebook的自动图像分类器，就像AAT示例中使用的分类器一样，您可以想象有人可以搜索他或她的朋友共享的所有照片，以根据图像内容查找特定的照片，而不是依赖在标签或周围的文字上，“QuiñoneroCandela写道。

该功能尚未生效，但一旦实现，它将为您提供更好的方式，让您在Facebook的大量数据图上找到您想要的内容。随着2013年推出的图搜索工作，Facebook试图让人们使用自然语言来找到合适的人; 通过视觉搜索，它完全是关于图像。从那里，人们可以预见Facebook稍后会出现相关视频。