MM-TTA：面向三维语义分割的多模态测试时自适应
计算机视觉与模式识别
2022-04-28 v1
摘要
测试时自适应方法近期已成为一种无需访问源域数据即可处理域偏移的实用方案。本文提出并探索了一种面向三维语义分割的新的多模态测试时自适应扩展。我们发现，直接应用现有方法通常会导致测试时性能不稳定，因为多模态输入未被联合考虑。为设计一个能充分利用多模态优势的框架，其中每种模态为其他模态提供正则化的自监督信号，我们提出了模态内和模态间的两个互补模块。首先，引入模态内伪标签生成（Intra-PG），通过聚合两个均在源数据上预训练但以不同速度在目标数据上更新的模型的信息，在每种模态内获取可靠的伪标签。其次，模态间伪标签精炼（Inter-PR）基于所提出的一致性方案，自适应地从不同模态中选择更可靠的伪标签。实验表明，我们正则化的伪标签在众多面向三维语义分割的多模态测试时自适应场景中产生了稳定的自学习信号。访问我们的项目网站：https://www.nec-labs.com/~mas/MM-TTA。
引用
@article{arxiv.2204.12667,
title = {MM-TTA: Multi-Modal Test-Time Adaptation for 3D Semantic Segmentation},
author = {Inkyu Shin and Yi-Hsuan Tsai and Bingbing Zhuang and Samuel Schulter and Buyu Liu and Sparsh Garg and In So Kweon and Kuk-Jin Yoon},
journal= {arXiv preprint arXiv:2204.12667},
year = {2022}
}
备注
CVPR 2022