SeFENet：基于语义驱动特征增强的鲁棒深度全景估计
计算机视觉与模式识别
2025-03-19 v2
摘要
在恶劣环境下捕获的图像常常出现细节模糊、对比度下降和颜色失真，导致特征检测和匹配困难，从而影响全景估计的精度和鲁棒性。虽然视觉增强可以改善对比度和清晰度，但可能引入视觉容忍性伪影，破坏图像的结构完整性。鉴于语义信息对环境干扰的鲁棒性较强，我们提出了一种用于鲁棒全景估计的语义驱动特征增强网络，称为SeFENet。具体而言，我们首先引入一种创新的分层尺度感知模块，通过聚合多尺度信息来扩大感受野，从而有效提取恶劣条件下的图像特征。随后，我们提出一种语义引导约束模块，结合高层感知框架，以实现对退化情形下的语义特征容错。引入基于元学习的训练策略，以缓解语义特征与结构特征之间的差异。通过内部-外部交替优化，该网络实现了隐式的语义层面特征增强，从而通过强化局部特征理解和上下文信息提取，提高了在恶劣环境下进行全景估计的鲁棒性。在正常和恶劣条件下的实验结果表明，SeFENet在大规模数据集上显著优于SOTA方法，使点匹配误差降低至少41%。
引用
@article{arxiv.2412.06352,
title = {SeFENet: Robust Deep Homography Estimation via Semantic-Driven Feature Enhancement},
author = {Zeru Shi and Zengxi Zhang and Kemeng Cui and Ruizhe An and Jinyuan Liu and Zhiying Jiang},
journal= {arXiv preprint arXiv:2412.06352},
year = {2025}
}