深度补全的测试时自适应方法
计算机视觉与模式识别
2024-05-28 v4 机器学习
摘要
当将在某些（源）数据集上训练的模型迁移到目标测试数据时，由于两者之间存在领域差距，通常会观察到性能下降。弥合这一差距的现有方法，如领域自适应（DA），可能需要模型训练所用的源数据（通常不可用），而其他方法，即无源领域自适应，则需要多次遍历测试数据。我们提出了一种用于深度补全的在线测试时自适应方法，深度补全任务是从单张图像和相关的稀疏深度图推断出密集深度图，该方法可在单次遍历中缩小性能差距。我们首先研究了每种数据模态中的领域偏移如何影响模型性能。基于我们观察到稀疏深度模态的协变量偏移远小于图像模态，我们设计了一个在源域训练的嵌入模块，该模块保留了从仅编码稀疏深度的特征到编码图像和稀疏深度的特征的映射。在测试时，利用此映射将稀疏深度特征投影为源域特征的代理，并用作指导来训练一组辅助参数（即自适应层），以将目标测试域的图像和稀疏深度特征与源域的特征对齐。我们在室内和室外场景中评估了我们的方法，结果表明，与基线相比，其性能平均提升了21.1%。
引用
@article{arxiv.2402.03312,
title = {Test-Time Adaptation for Depth Completion},
author = {Hyoungseob Park and Anjali Gupta and Alex Wong},
journal= {arXiv preprint arXiv:2402.03312},
year = {2024}
}