EAGLE：跨视角理解中的高效自适应几何学习
计算机视觉与模式识别
2024-10-14 v2
摘要
无监督域适应是将语义分割模型跨数据分布迁移的一种有效方法。同时，基于大规模视觉语言模型的近期开放词汇语义场景理解在开放集设置中很有效，因为它可以学习多样化的概念和类别。然而，由于缺乏跨视角几何建模，这些先前的方法无法泛化到不同的相机视角。目前，分析跨视角学习的研究有限。为解决此问题，我们引入了一种新颖的无监督跨视角自适应学习方法，用于在语义场景理解中对跨视角的几何结构变化进行建模。首先，我们引入了一种新颖的基于未配对数据的跨视角几何约束，以对跨相机的图像和分割掩码中的结构变化进行建模。其次，我们提出了一种新的基于测地流的关联度量，以有效衡量跨相机视角的几何结构变化。第三，我们引入了一种新颖的视角条件提示机制，以增强开放词汇分割网络在跨视角自适应学习中的视角信息建模。在不同跨视角自适应基准上的实验证明了我们的方法在跨视角建模中的有效性，表明与先前的无监督域适应和开放词汇语义分割方法相比，我们实现了最先进的（SOTA）性能。
引用
@article{arxiv.2406.01429,
title = {EAGLE: Efficient Adaptive Geometry-based Learning in Cross-view Understanding},
author = {Thanh-Dat Truong and Utsav Prabhu and Dongyi Wang and Bhiksha Raj and Susan Gauch and Jeyamkondan Subbiah and Khoa Luu},
journal= {arXiv preprint arXiv:2406.01429},
year = {2024}
}
备注
Accepted to NeurIPS'24