BECoTTA：面向持续测试时自适应的输入依赖在线专家混合
机器学习
2024-06-04 v3 计算机视觉与模式识别
摘要
持续测试时自适应(CTTA)需要高效地适应连续的未见域，同时保留先前学到的知识。然而，尽管CTTA取得了进展，但在遗忘-自适应权衡和效率方面部署模型仍具挑战性。此外，当前的CTTA场景仅假设不相交的情况，即使现实世界中的域是无缝变化的。为了解决这些挑战，本文提出了BECoTTA，一个面向CTTA的输入依赖且高效的模块化框架。我们提出了域低秩专家混合(MoDE)，它包含两个核心组件：(i) 域自适应路由，有助于通过多个域路由器选择性地捕获域自适应知识；(ii) 域-专家协同损失，以最大化每个域与专家之间的依赖性。我们验证了我们的方法在多种CTTA场景（包括离散和渐进的域偏移）中均优于现有方法，同时仅需约98%更少的可训练参数。我们还提供了对方法的分析，包括专家的构建、域自适应专家的效果以及可视化。
引用
@article{arxiv.2402.08712,
title = {BECoTTA: Input-dependent Online Blending of Experts for Continual Test-time Adaptation},
author = {Daeun Lee and Jaehong Yoon and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2402.08712},
year = {2024}
}
备注
Accepted by ICML2024, 22 pages, Project page: https://becotta-ctta.github.io/