Continual-MAE：面向持续测试时自适应的自适应分布掩码自编码器
计算机视觉与模式识别
2024-03-28 v2
摘要
持续测试时自适应 (CTTA) 被提出用于将源预训练模型迁移到不断变化的目标分布，以解决现实世界的动态性。现有的 CTTA 方法主要依赖熵最小化或师生伪标签方案在无标签目标域中提取知识。然而，动态数据分布会在现有的自监督学习方法中导致校准不当的预测和有噪声的伪标签，阻碍了在持续自适应过程中对误差累积和灾难性遗忘问题的有效缓解。为了解决这些问题，我们提出了一种持续自监督方法，即自适应分布掩码自编码器 (ADMA)，该方法增强了目标域知识的提取，同时缓解了分布偏移的累积。具体而言，我们提出了一种分布感知掩码 机制来自适应地采样掩码位置，随后在掩码目标样本和原始目标样本之间建立一致性约束。此外，对于掩码 token，我们利用高效的解码器来重构手工设计的特征描述符（例如方向梯度直方图），利用其不变属性来增强任务相关表示。通过在四个广泛认可的基准上进行大量实验，我们提出的方法在分类和分割 CTTA 任务中均取得了最先进的性能。我们的项目主页：https://sites.google.com/view/continual-mae/home。
引用
@article{arxiv.2312.12480,
title = {Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation},
author = {Jiaming Liu and Ran Xu and Senqiao Yang and Renrui Zhang and Qizhe Zhang and Zehui Chen and Yandong Guo and Shanghang Zhang},
journal= {arXiv preprint arXiv:2312.12480},
year = {2024}
}
备注
Accepted by CVPR2024