基于能量模型与深度引导的域自适应分割
计算机视觉与模式识别
2024-02-07 v1
摘要
近期的研究致力于利用自监督深度估计作为无监督域自适应（UDA）语义分割的引导。然而，先前的工作忽视了语义特征与深度特征之间的差异以及特征融合的可靠性，从而导致次优的分割性能。为解决这一问题，我们提出了一种名为 SMART（基于能量估计的跨域语义分割）的新型 UDA 框架，该框架利用基于能量的模型（EBMs）获取任务自适应特征，并结合自监督深度估计实现可靠的语义分割特征融合。我们的框架包含两个新颖组件：基于能量的特征融合（EB2F）模块和基于能量的可靠融合评估（RFA）模块。EB2F 模块通过显式测量并利用 Hopfield 能量减少语义与深度特征之间的差异，从而生成任务自适应的语义和深度特征以实现更好的特征融合。RFA 模块利用能量评分评估特征融合的可靠性，以提高深度引导的有效性。在两个数据集上的大量实验表明，我们的方法相较于先前工作取得了显著的性能提升，验证了基于能量的学习方法的有效性。
引用
@article{arxiv.2402.03795,
title = {Energy-based Domain-Adaptive Segmentation with Depth Guidance},
author = {Jinjing Zhu and Zhedong Hu and Tae-Kyun Kim and Lin Wang},
journal= {arXiv preprint arXiv:2402.03795},
year = {2024}
}