PS-Transformer：利用自注意力机制学习稀疏光度立体网络
计算机视觉与模式识别
2022-11-22 v1
摘要
现有的深度标定光度立体网络基本基于预定义操作（如线性投影和最大池化）来聚合不同光照下的观测。虽然它们在密集采集下有效，但简单的一阶操作往往无法捕捉少量不同光照下观测间的高阶交互。为解决这个问题，本文提出一个名为 {\it PS-Transformer} 的深度稀疏标定光度立体网络，其利用可学习的自注意力机制来恰当捕捉复杂的图像间交互。PS-Transformer 基于双分支设计来探索像素级与图像级特征，并且各特征以中间表面法线监督进行训练以最大化几何可行性。我们还提出了一个名为 CyclesPS+ 的新合成数据集，并辅以全面分析以成功训练光度立体网络。在公开可用基准数据集上的大量结果表明，所提方法的表面法线预测精度在同等输入图像数量下显著优于其他 SOTA 算法，甚至可与输入图像数量多 10 的密集算法相媲美。
引用
@article{arxiv.2211.11386,
title = {PS-Transformer: Learning Sparse Photometric Stereo Network using Self-Attention Mechanism},
author = {Satoshi Ikehata},
journal= {arXiv preprint arXiv:2211.11386},
year = {2022}
}
备注
BMVC2021. Code and Supplementary are available at https://github.com/satoshi-ikehata/PS-Transformer-BMVC2021