面向 3D 语义分割的多模态持续测试时自适应
计算机视觉与模式识别
2023-03-21 v1 机器人学
摘要
持续测试时自适应 (CTTA) 通过假设目标域随时间动态变化而非静止，推广了传统的测试时自适应 (TTA)。在本文中，我们探索多模态持续测试时自适应 (MM-CTTA) 作为 CTTA 在 3D 语义分割中的新扩展。MM-CTTA 的关键在于在持续域偏移期间自适应地关注可靠模态，同时避免灾难性遗忘，这超出了以往 TTA 或 CTTA 方法的能力。为填补这一空白，我们提出了一种名为持续跨模态自适应聚类 的 MM-CTTA 方法，从两个角度解决该任务。一方面，我们提出了一种自适应双阶段机制，通过基于潜在空间中类内特征质心距离关注可靠模态，生成可靠的跨模态预测。另一方面，为了在没有灾难性遗忘的情况下执行测试时自适应，我们设计了类内动量队列，捕获用于自适应的高置信度目标特征，同时随机恢复伪源特征以重温源知识。我们进一步引入了两个新基准，以促进未来对 MM-CTTA 的探索。实验结果表明，我们的方法在两个基准上均达到了 SOTA 性能。
引用
@article{arxiv.2303.10457,
title = {Multi-Modal Continual Test-Time Adaptation for 3D Semantic Segmentation},
author = {Haozhi Cao and Yuecong Xu and Jianfei Yang and Pengyu Yin and Shenghai Yuan and Lihua Xie},
journal= {arXiv preprint arXiv:2303.10457},
year = {2023}
}
备注
15 pages, 6 tables, 7 figures