具有基于物理的变形模型的模板形状

shape-from-template (SfT) 的目标是在给定已知初始状态的情况下重建 3D 可变形表面的整个图像序列。然而，大多数当前方法无法捕获精细的局部表面变形。

最近发表在 arXiv.org 上的一篇论文提出了一种新的综合分析 SfT 方法，该方法解决了当前技术水平的几个限制，并显着提高了重建的准确性。

研究人员指出，当前该领域的挑战是由于不了解物理褶皱形成过程的结果。因此，所提出的方法明确地模拟了这个过程，并且它的参数在物理上是有意义的。此外，差分渲染能够利用纹理中存在的信息，而不管网格分辨率如何。

实验表明，所提出的方法比基线更准确，并且支持更精细的局部折叠。

Shape-from-Template (SfT) 方法从单个单目 RGB 相机估计 3D 表面变形，同时假设预先知道的 3D 状态(模板)。由于单眼设置的约束不足，这是一个重要但具有挑战性的问题。现有的 SfT 技术主要使用几何和简化的变形模型，这往往限制了它们的重建能力。与以前的工作相比，本文提出了一种新的 SfT 方法，通过考虑力和材料特性的物理模拟来解释 2D 观察结果。我们的微分物理模拟器使表面演变规律化并优化材料弹性特性，例如弯曲系数、拉伸刚度和密度。我们使用可微分渲染器来最小化估计的 3D 状态和输入图像之间的密集重投影误差，并使用基于自适应梯度的优化来恢复变形参数。为了评估，我们使用 RGB-D 相机记录暴露于具有各种材料特性和纹理的物理力的真实表面。与多种竞争方法相比，我们的方法显着降低了 3D 重建误差。源代码和数据见 与多种竞争方法相比，我们的方法显着降低了 3D 重建误差。源代码和数据见 与多种竞争方法相比，我们的方法显着降低了 3D 重建误差。