维持长时间尺度持续测试时适应中的塑性
计算机视觉与模式识别
2024-12-31 v1
摘要
持续测试时域适应(CTTTA)旨在调整预训练的源模型，以适应时间推移中跨非平稳目标环境的表现。虽然先前方法努力优化适应过程，但关键问题仍悬而未决：模型能否在长时间内保持塑性以适应持续变化的环境？所谓塑性指模型持续响应非平稳环境的预测调整能力。本文探索塑性这一持续适应的关键但常被忽视的方面，以促进长期可持续适应。首先，我们观察到大多数CTTTA方法在长时间尺度的持续适应期间经历塑性的稳定下降。此外，我们发现塑性丧失与标签翻转变化密切相关。基于此关联，我们提出一种简单有效的策略——自适应收缩恢复(ASR)，以维持模型塑性。具体而言，ASR通过自适应间隔进行权重重新初始化，间隔由标签翻转变化决定。我们在广泛的CTTTA基准测试中验证了该方法，取得优异性能。
引用
@article{arxiv.2412.20034,
title = {Maintain Plasticity in Long-timescale Continual Test-time Adaptation},
author = {Yanshuo Wang and Xuesong Li and Jinguang Tong and Jie Hong and Jun Lan and Weiqiang Wang and Huijia Zhu and Haoxing Chen},
journal= {arXiv preprint arXiv:2412.20034},
year = {2024}
}