IllumiNeRF：无逆渲染的 3D 重新照明

6月11日 消息:近日，来自谷歌研究团队以及伊利诺伊大学厄巴纳 - 香槟分校的学者们发表了题为《无逆渲染的3D 重新照明》的研究成果。该研究针对使用未知光照条件下的一组物体图像，以恢复能够在目标光照下从新视点呈现的3D 表征的可重新光照视图合成方法进行了探讨。

传统方法基于反渲染，试图将解释输入图像的物体几何、材料和光照进行分离。然而，这通常涉及通过可微分蒙特卡洛渲染进行优化，具有脆弱性且计算成本高昂。

因此，研究团队提出了一种更简单的方法IllumiNeRF:首先利用受光条件的图像扩散模型重光每个输入图像，然后利用这些重光图像重建神经辐射场（NeRF），从而在目标光照下呈现新的视角。他们证明了这种策略出人意料地具有竞争力，并在多个重光基准测试中取得了最新成果。

它具体工作原理如下:

给定 （a） 中的一组图像和相机姿势，研究人员运行 NeRF 来提取3D 几何体，如 (b) 所示;

基于此几何形状和（c）中所示的目标光，为每个给定的输入视图创建辐射提示，如(d)所示;

接下来，使用 （e） 中所示的重新照明扩散模型和 (f) 中显示的每个给定图像的样本 S 可能的解决方案独立地重新点亮每个输入图像;

最后，通过潜在NeRF优化将重新编辑的图像集提炼成3D表示，如（g）和(h)所示。

3D 一致重新照明

第一行显示了最终潜在 NeRF 的渲染图;

第二行显示了与顶部每个渲染帧相对应的最近训练视图的扩散样本。

这种产品可应用于计算机图形学、增强现实和虚拟现实领域。例如，在电影制作中，可以利用该产品在不同光照条件下呈现3D 场景，从而节省拍摄成本和时间。在虚拟现实应用中，用户可以在不同光照环境下体验虚拟场景，增强了真实感和沉浸感。此外，该产品还可用于数字艺术创作和建筑设计等领域，为用户提供更灵活的光照表现和渲染效果。