新的手机应用程序根据用户脚部的3D形状显示鞋子的合脚程度

Snapfeet是一款新的手机应用程序，可根据用户脚部的3D形状显示鞋子的合脚程度。它还提供了一个简单的增强现实(AR)可视化鞋子在脚上的样子。该应用程序技术旨在为在线鞋履零售商提供给他们的客户，提供不同款式的鞋子的准确贴合，并有机会看到鞋子在购物者脚上的样子。这应该会导致退货的鞋类减少。回报方面的成本很高，无论是金钱上还是环境上。由于退货率高，许多鞋类零售商从在线销售中获得的收入很少，所以这个应用程序的目的是改变这一点。

RobertoCipolla教授和他的团队JamesCharles博士和博士。机器智能组的学生OllieBoyne与GiorgioRaccanelli和Snapfeet的团队合作创建了该应用程序。

借助增强现实(AR)，Snapfeet应用程序允许客户通过手机虚拟穿鞋，并在片刻内找到完美合脚的鞋子。

Snapfeet实时创建用户脚部的准确3D副本。只需从不同的角度拍摄几张手机照片，就可以在几秒钟内制作双脚的3D模型。

使用用户的脚型并将其与鞋子的几何形状进行比较，Snapfeet能够为每种类型的鞋子推荐正确的尺码，向用户传达在脚的不同部位可以达到的舒适程度：脚趾，脚背、脚跟和鞋底。

GiorgioRaccanelli说：“你下载Snapfeet应用程序，注册，在脚周围拍几张照片，就会出现一个脚部的3D模型，让你立即开始购物。应用程序会自动比较脚的三维图像选择鞋型的脚，向您展示它的贴合度，或直接建议最适合您脚型的款式。”

Snapfeet的第一批大客户是HugoBoss和GoldenGoose。

Snapfeet的母公司Trya于2011年通过CambridgeEnterprise授权Cipolla教授团队的新型摄影测量软件。

最初的摄影测量技术使用带有校准图案的照片。拍摄这些照片后，它们被上传到服务器，剑桥大学开发的多视角立体算法发现了多个点对应关系，并生成了一个3D模型，该模型解释了所有不同的视角，并在世界空间中定位了相机。这是2011年最先进的重建精度。

自2019年以来，Cipolla教授的团队一直在与Snapfeet合作，将原始摄影测量技术发展为一款手机应用程序，该应用程序可以在手机上实时重建3D脚型，无需任何校准图案，并在AR中正确调整鞋子尺寸和可视化。

最初的摄影测量软件非常精确到1毫米，但速度慢且难以处理。有准确性，但没有可用性。它也没有利用它试图重建的对象的任何知识。

该团队研究了如何使其更快、更用户友好，并产生了在没有校准模式和服务器处理的手机上完成这一切的想法。他们能够在现代手机上利用机器学习和强大处理器方面令人兴奋的新发展。

该应用程序的视频正在构建脚部的3D副本，使用机器学习和实时AR提供尺寸建议，以可视化建议的脚部尺寸。学分：剑桥大学

“我们能够利用机器学习(深度学习)的新发展来识别3D对象以及现代手机上的先进传感器和强大的处理器，以便在手机上实时运行重建算法。总而言之，我们可以结合参数化足部模型和用于识别曲线和表面的新型深度学习算法使我们能够在设备上实时运行3D重建算法，”Cipolla教授说。

他们使用了一个参数化的足部模型，该模型是使用原始摄影测量技术从大量足部3D扫描中学习到的。该应用程序构建的3D足部模型可以在任何图形引擎中呈现，以可视化它的外观。脚的形状可以通过机器学习学习到的10个不同参数进行更改和控制。目的是找出这些参数中的哪一个会产生最匹配用户的3D脚。“主”足部模型被称为“先验”，是有关足部外观的先验知识的缩写。应用程序用户仍然在足部周围拍摄多张图像，但应用程序使用机器学习来预测控制足部形状的更高级别的特征，而不是构建点云(如摄影测量)。好处是应用程序用户需要拍摄的照片更少，返回的足部模型具有更少的伪影，并且如果在扫描过程中出现错误，该过程会更加稳健。由于应用程序的实时深度学习元素，该模型的生成速度也快得多。

该团队刚刚发布了可以在移动设备上执行所有操作的新版本应用程序。不再需要服务器。

谈到应用程序詹姆斯查尔斯说：“我总是很难买到合适尺码的鞋子。我不喜欢在商店里试穿的过程，网上订购大量鞋子对环境的影响对我来说是一个大问题。然而，“在这个应用程序之前，真的没有其他选择。所以，我非常积极地解决这个问题，并认为我们已经有了很好的解决方案。”

最初，当用户打开应用程序时，会有一个校准阶段，用户开始使用手机上最新的AR功能跟踪相机。在iOS手机上是ARKit，在Android手机上是ARCore，它们使用与室内设计应用程序用于映射房间并以图形形式表示物理空间的相同程序集。

在校准阶段，正在跟踪手机摄像头。该应用程序基于AR技术来跟踪摄像头并计算它移动的距离，它还检测脚和地板，从而提供一个很好的世界空间概念。该应用程序知道手机的位置，精度在2毫米以内，并且在加载应用程序后的几秒钟内完成。

当手机围绕脚部的某些关键兴趣点移动时，检测到有助于确定脚的长度和宽度，然后根据这些测量结果创建3D网格，然后在AR中将模型覆盖在用户的脚上，以便他们可以在视觉上验证是否正确。

这是另一个关键步骤，与竞争不同。市场上有一些应用程序也可以通过这种方式验证模型重建，但它们不允许您主动调整模型。Snapfeet让您可以实时调整模型，然后立即在手机上获取您的足部3D模型，无需服务器。

有三种机器学习足部算法在起作用。一是建立参数化足部模型;第二个是机器学习，当你移动手机时，它会从多视图图像中恢复模型的参数。最后，应用程序中还有第三种机器学习算法，将3D足部模型与客户感兴趣的所有鞋型或“鞋楦”进行比较，然后返回最适合用户脚部的鞋码.这是虚拟试穿。

当制造商制造鞋子时，他们会制造鞋楦，这是鞋子内部的实体模型。他们围绕鞋楦设计了鞋款设计。鞋楦以及用于制作鞋子的材料决定了人们将脚放入鞋子时的尺寸和舒适度。

该算法将获取足部模型并将其以数字方式放置在您感兴趣的所有鞋子中，并为您提供舒适度评分。然后，您可以使用AR将虚拟鞋渲染到您的脚上。该应用程序还检测腿/裤子的位置，以便获得正确的遮挡效果，使用机器学习来捕捉足部的轨迹。

一旦你恢复了你的脚型，该应用程序还会使用AR，这样用户就可以在试鞋时获得你应该得到的感觉。然后，该应用程序的AR元素允许用户查看鞋子在他们脚上的样子，以及它们是否适合特定的服装。

Snapfeet慷慨地资助了一个博士学位。助学金使OllieBoyne能够扩展从照片中建模脚的研究。该应用程序现已在AppStore上发布，许多鞋履供应商正在使用和测试该应用程序，以帮助减少他们从在线销售中获得的回报。下载该应用程序并亲自尝试。