Facebook的早期门户网站原型转向观看视频主题

Facebook工程师今天在一篇博客文章中表示，电动相机也被认为是不切实际的，因为它没有提高Portal的可靠性。

建立门户网站的工作始于两年前，作为在加利福尼亚州门洛帕克的Facebook总部探索硬件产品的秘密8号楼项目的一部分，门户团队负责人和Facebook副总裁拉法卡马戈在去年秋天该设备首次亮相之前告诉VentureBeat。

Portal团队现在是Facebook的AR / VR部门的一部分。

使用Facebook Messenger进行门户视频通话依赖于智能相机的计算机视觉，缩放和移动到框架拍摄，并占据房间中每个人的情况 - 即使是距离相机20英尺的人。鱼眼广角相机镜头的140度视野意味着Portal无需移动即可查看正在发生的事情。

智能音量还用于放大，缩小和调节音量以优化通话声音。

智能相机使用Mask R-CNN2Go运行在设备上进行机器学习，这是一种源自Mask R-CNN的计算机视觉系统，该系统于2017年在国际计算机视觉会议(ICCV)上获得最佳论文奖。

该系统使用姿势识别来扫描每秒30帧以查找人物对象并正确地构图每个镜头。除了人工智能之外，相机还会考虑人们对相机移动的反应方式以及电影制作者关于如何拍摄照片的建议。

Facebook的门户网站AI和移动视觉团队采取措施解决这样一个事实，即使用GPU运行的系统必须减少到几兆到小到足以在高通公司的Snapdragon神经处理引擎上运行。

“为了补偿，我们开发了几种策略，包括通过对训练数据集中的低光示例应用数据增强来改善低光性能，并平衡多种姿势检测方法(例如检测对象的头部，躯干和整个身体) 。我们使用额外的预处理来区分彼此接近的多个人，“由软件工程师Rahul Nallamothu和Eric Hwang，研究科学家Peter Vajda和工程总监Matt Uyttendaele撰写的博客文章说。

在未来，Facebook计划让智能相机智能化视频通话环境，以便更好地确定如何构建镜头。

“当他或她在沙发上看电视时，我们可能想要以不同的方式拍摄不同的镜头，并使用不同类型的相机移动，相比之下，当他或她在沙发上看电视时，”该帖子写道。

Portal与亚马逊的Echo Show和Google的Home Hub的智能显示器 以及JBL，Sony和Lenovo等制造商的显示器竞争。智能显示器与Google助手和亚马逊的Alexa等AI助手互动。Portal也可以与Alexa交谈。

在去年年底宣布的一系列更新中，Portal获得了一系列新功能，包括网络浏览器，即时游戏和自定义视频通话控制。