FoCTTA：具有聚焦机制的低内存持续测试时自适应
机器学习
2025-03-03 v1
摘要
在测试时对领域偏移进行持续自适应 (CTTA) 对于增强深度学习赋能的物联网应用的智能性至关重要。然而，主流的测试时自适应 (TTA) 方法通常会更新所有的批归一化 (BN) 层，这表现出两种内存低效性。首先，依赖 BN 层进行自适应需要较大的批量大小，导致高内存占用。其次，更新所有 BN 层需要存储所有 BN 层的激活值以进行反向传播，进一步加剧了内存需求。这两个因素导致了巨大的内存开销，使得现有解决方案在物联网设备上不切实际。在本文中，我们提出了 FoCTTA，一种低内存的 CTTA 策略。其关键在于自动识别并自适应少数对漂移敏感的表示层，而不是盲目更新所有 BN 层。从 BN 层到表示层的转变消除了对大批量大小的需求。同时，通过仅更新对自适应至关重要的层，FoCTTA 避免了存储过多的激活值。这种聚焦的自适应方法确保了 FoCTTA 不仅内存高效，而且能保持有效的自适应。评估结果表明，在相同的内存限制下，FoCTTA 在 CIFAR10-C、CIFAR100-C 和 ImageNet-C 上的自适应准确率分别比现有最优方法提高了 4.5%、4.9% 和 14.8%。在各种批量大小下，FoCTTA 平均减少了 3 倍的内存使用，同时在这三个数据集上的准确率分别提高了 8.1%、3.6% 和 0.2%。
引用
@article{arxiv.2502.20677,
title = {FoCTTA: Low-Memory Continual Test-Time Adaptation with Focus},
author = {Youbing Hu and Yun Cheng and Zimu Zhou and Anqi Lu and Zhiqiang Cao and Zhijun Li},
journal= {arXiv preprint arXiv:2502.20677},
year = {2025}
}