Normals 的光线:统一的特征表示用于通用光照立体
计算机视觉与模式识别
2026-03-10 v6
摘要
通用光照立体 (Universal photometric stereo, UniPS) 需满足两个条件:(i)在任意、未知的光照条件下运行;(ii)避免依赖特定的光照模型。尽管已有进展 (如 SDM UniPS),但仍存在两大挑战:其一,当前编码器无法保证光照与法线信息解耦。为强制实现解耦,我们提出 LINO UniPS,包含两个关键组件:(i)带有光照对齐监督的光线寄存器 Token,用于聚合点光、方向光及环境光;(ii)交错注意力块,采用全局跨图像注意力机制,同时考虑所有光照条件,从而使编码器能够分离光照信息,同时保留与法线相关的证据。其二,高频几何细节易被丢失。我们通过(i)基于小波的双分支架构,(ii)法线梯度感知损失来应对。这些技术构建了统一的特征空间,其中光照由寄存器 Token 显式表示,法线细节通过小波分支保留。我们进一步引入 PS-Verse,一个按几何复杂度和光照多样性分级的大规模合成数据集,并采用从简单到复杂场景的课程训练策略。广泛的实验表明,我们的方法在公共基准 (如 DiLiGenT、Luces) 上实现了新的最佳结果,更强的对真实材料的泛化能力,以及 improved 的效率;消融实验确认,光线寄存器 Token 与交错注意力块共同驱动更好的特征解耦,而基于小波的双分支架构与法线梯度感知损失则恢复了更细致的细节。
关键词
引用
@article{arxiv.2506.18882,
title = {Light of Normals: Unified Feature Representation for Universal Photometric Stereo},
author = {Houyuan Chen and Hong Li and Chongjie Ye and Zhaoxi Chen and Bohan Li and Shaocong Xu and Xianda Guo and Xuhui Liu and Yikai Wang and Baochang Zhang and Satoshi Ikehata and Boxin Shi and Anyi Rao and Hao Zhao},
journal= {arXiv preprint arXiv:2506.18882},
year = {2026}
}
备注
Home: https://houyuanchen111.github.io/lino.github.io Github: https://github.com/houyuanchen111/LINO_UniPS HuggingFace