GelSight技术让机器人可以测量物体的硬度并操纵小工具

八年前，麻省理工学院计算机科学与人工智能实验室(CSAIL)的特德阿德尔森研究小组推出了一种名为GelSight的新型传感器技术，该技术利用与物体的物理接触来提供其表面非常详细的三维地图。

现在，通过将GelSight传感器安装在机械臂的夹具上，麻省理工学院的两个团队为机器人提供了更高的灵敏度和灵活性。研究人员上周在国际机器人与自动化会议上发表了两篇论文。

在一篇论文中，Adelson的团队使用GelSight传感器的数据，使机器人能够判断其接触的表面的硬度 - 如果家用机器人要处理日常物品，这是一项至关重要的能力。

另一方面，Russ Tedrake在CSAIL的机器人运动小组使用GelSight传感器使机器人能够操纵比以前更小的物体。

在某些方面，GelSight传感器是解决难题的低技术解决方案。它由一块透明橡胶组成 - 其名称的“凝胶” - 其中一面涂有金属漆。当涂漆面压在物体上时，它符合物体的形状。

金属涂料使物体的表面反射，因此其几何形状变得更容易被计算机视觉算法推断。安装在橡胶块涂漆面对面的传感器上有三个彩色灯和一个摄像头。

“[系统]有不同角度的彩色灯光，然后它有这种反光材料，通过观察颜色，计算机......可以找出那个东西的三维形状，”阿德尔森解释说，约翰和Dorothy Wilson脑与认知科学系视觉科学教授。

在两组实验中，GelSight传感器安装在机器人抓手的一侧，这种装置有点像钳子的头部，但是具有平坦的抓握表面而不是尖头。

联络点

对于自主机器人来说，测量物体的柔软度或硬度对于决定在何处以及如何难以掌握它们以及它们在移动，堆叠或铺设在不同表面时的行为方式至关重要。触觉传感还可以帮助机器人区分看起来相似的物体。

在以前的工作中，机器人试图通过将物体放置在平坦表面上并轻轻地戳它们以查看物体的硬度来评估物体的硬度。但这不是人类测量硬度的主要方式。相反，我们的判断似乎是基于物体和手指之间的接触面积随着我们按压而变化的程度。较软的物体往往会变平，增加接触面积。

麻省理工学院的研究人员采用了相同的方 机械工程专业的研究生，阿德尔森集团的论文第一作者，文振媛使用糖果模具制作了400组硅胶制品，每组16件。在每组中，物体具有相同的形状但硬度不同，元使用标准工业规模测量。

然后，她手动对每个物体按下GelSight传感器，并记录接触模式随时间的变化情况，从而为每个物体生成一个短片。为了使数据格式标准化并保持数据大小易于管理，她从每部电影中提取了五帧，在时间上均匀分布，描述了被按下的对象的变形。

最后，她将数据输入神经网络，自动寻找接触模式变化与硬度测量之间的相关性。由此产生的系统将视频帧作为输入，并以非常高的精度产生硬度分数。袁还进行了一系列非正式实验，其中人类受试者触摸水果和蔬菜，并根据硬度进行排名。在每种情况下，装有GelSight的机器人都达到了相同的排名。

她的两位论文顾问阿德尔森和机械工程系高级研究科学家Mandayam Srinivasan参与了论文。去年夏天，清华大学的本科生陈卓卓访问了阿德尔森的团队; 和安德鲁欧文斯，他在麻省理工学院攻读电子工程和计算机科学博士学位，现在是加州大学伯克利分校的博士后。

视线受阻

从机器人步态集团纸诞生的集团的经验与国防高级研究计划局的机器人挑战赛(DRC)，其中学术和行业团队竞相发展，将引导人形机器人通过一系列相关的任务控制系统一个假设的紧急情况。

通常，自主机器人将使用某种计算机视觉系统来指导其对其环境中的对象的操纵。这样的系统可以提供关于物体位置的非常可靠的信息 - 直到机器人拾取物体为止。特别是如果物体很小，它的大部分将被机器人的抓手遮挡，使得位置估计更加困难。因此，在机器人需要精确地知道物体位置的点处，其估计变得不可靠。这是麻省理工学院团队在刚果民主共和国期间遇到的问题，当时他们的机器人必须拿起并打开电钻。

“你可以在我们的视频中看到DRC我们花了两三分钟开始演练，”电子工程和计算机科学研究生，新论文的第一作者Greg Izatt说。“如果我们有一个实时更新，准确估计钻头的位置和我们的手相对于它的位置，那将会更好。”

这就是机器人运动集团转向GelSight的原因。Izatt和他的合着者 - Tedrake，丰田电气工程和计算机科学，航空航天和机械工程教授; 阿德尔森; 另外，Tedrake团队的另一名研究生Geronimo Mirano设计了一种控制算法，该算法利用计算机视觉系统将机器人的夹具引向工具，然后在机器人手持工具后将位置估算转换为GelSight传感器。

通常，这种方法的挑战是将视觉系统产生的数据与触觉传感器产生的数据进行协调。但GelSight本身就是基于摄像头的，因此与其他触觉传感器的数据相比，其数据输出更容易与可视化数据集成。

在Izatt的实验中，配备GelSight的夹具的机器人必须抓住一把小螺丝刀，将其从皮套中取出并将其送回。当然，来自GelSight传感器的数据并没有描述整个螺丝刀，只是它的一小部分。但Izatt发现，只要视觉系统对螺丝刀初始位置的估计精确到几厘米之内，他的算法就可以推断出GelSight传感器所接触的螺丝刀的哪一部分，从而决定了螺丝刀在机器人手中的位置。

“我认为GelSight技术以及其他高带宽触觉传感器将对机器人产生重大影响，”加州大学伯克利分校电子工程和计算机科学助理教授Sergey Levine说。“对于人类来说，我们的触觉是我们惊人的手动灵巧的关键因素之一。目前的机器人缺乏这种灵巧性，并且在操纵物体时对表面特征的反应能力有限。如果你想象在黑暗中摸索一个灯开关，从口袋中提取物体，或者你甚至不用思考就可以做任何其他许多事情 - 这些都依赖于触摸传感。

“软件最终正在追赶我们传感器的功能，”Levine补充道。“受深度学习和计算机视觉创新启发的机器学习算法可以处理来自传感器(如GelSight)的丰富感官数据，以推断出对象属性。在未来，我们将看到这些学习方法融入端到端训练的操作技能，这将使我们的机器人更加灵巧和有能力，并可能帮助我们了解我们自己的触觉和电机控制感。