面向协变量与标签偏移下测试时自适应的标签偏移适配器
计算机视觉与模式识别
2023-08-21 v1 机器学习
摘要
测试时自适应（TTA）旨在推理过程中以逐批次方式将预训练模型适配到目标域。尽管现实场景中标签分布常呈现不平衡，多数先前的 TTA 方法通常假设源域与目标域数据集均具有均衡标签分布。由于某些类别在特定域中更频繁出现（如城市中的建筑、森林中的树木），标签分布随域变化而发生偏移是自然的。然而，我们发现绝大多数现有 TTA 方法未能应对协变量偏移与标签偏移的共存。为应对该挑战，我们提出一种新颖的标签偏移适配器，可嵌入现有 TTA 方法中，以在 TTA 过程中有效处理标签偏移。具体而言，我们估计目标域的标签分布并将其输入标签偏移适配器。随后，标签偏移适配器针对目标标签分布生成最优参数。通过仅预测预训练源模型部分结构的参数，我们的方法计算高效且可轻松应用，而与模型架构无关。通过大量实验，我们证明将我们的策略与 TTA 方法结合，在标签与协变量偏移联合存在下带来显著的性能提升。
引用
@article{arxiv.2308.08810,
title = {Label Shift Adapter for Test-Time Adaptation under Covariate and Label Shifts},
author = {Sunghyun Park and Seunghan Yang and Jaegul Choo and Sungrack Yun},
journal= {arXiv preprint arXiv:2308.08810},
year = {2023}
}
备注
Accepted to ICCV 2023