可微分显示器光度立体
计算机视觉与模式识别
2024-03-13 v4
摘要
光度立体利用光照条件的变化重建表面法线。采用常规显示器作为光源的显示器光度立体，有潜力克服笨重且难用的传统装置中常遇到的限制。本文提出可微分显示器光度立体(DDPS)，解决了显示器光度立体中常被忽视的一个挑战：显示器图案的设计。不同于使用启发式显示器图案，DDPS 以端到端方式学习可为目标系统产生精确法线重建的显示器图案。为此，我们提出一个可微分框架，将基光照图像形成与解析光度立体重建相耦合。该可微分框架通过自动微分促进显示器图案的有效学习。此外，对于训练监督，我们提议使用 3D 打印创建真实世界训练数据集，从而在目标真实世界装置上实现精确重建。最后，我们利用传统 LCD 显示器发射偏振光这一特性，当与偏振相机结合时，可实现漫反射与镜面反射的光学分离，从而获得精确法线重建。对 DDPS 的广泛评估显示，相较于启发式图案，其法线重建精度更高，并展现出对图案初始化、标定误差及图像形成与重建中简化具有鲁棒性等引人注目的性质。
引用
@article{arxiv.2306.13325,
title = {Differentiable Display Photometric Stereo},
author = {Seokjun Choi and Seungwoo Yoon and Giljoo Nam and Seungyong Lee and Seung-Hwan Baek},
journal= {arXiv preprint arXiv:2306.13325},
year = {2024}
}