基于帧间-帧内图像特征融合的深度未标定光度立体
计算机视觉与模式识别
2022-08-09 v1
摘要
未标定光度立体旨在从变化且未知光照下的图像中估计精细表面法线。近来，深度学习为这一欠定问题带来了强大的数据先验。本文提出一种用于深度未标定光度立体的新方法，其高效利用帧间表示来引导法线估计。先前方法使用基于优化的神经逆渲染或单一与尺寸无关的池化层来处理多张输入，不利于充分利用输入图像间的信息。给定不同光照下的多张图像，我们认为帧内与帧间变化高度相关。受此相关变化启发，我们设计了帧间-帧内图像特征融合模块，将帧间表示引入逐图像特征提取。该额外表示用于引导逐图像特征提取并消除法线估计中的歧义。我们在广泛样本上展示了我们设计的效果，尤其在暗色材料上。我们的方法在合成与真实数据上均显著优于最先进方法。
引用
@article{arxiv.2208.03440,
title = {Deep Uncalibrated Photometric Stereo via Inter-Intra Image Feature Fusion},
author = {Fangzhou Gao and Meng Wang and Lianghao Zhang and Li Wang and Jiawan Zhang},
journal= {arXiv preprint arXiv:2208.03440},
year = {2022}
}
备注
7 pages