测试时适应的缓冲层

在测试时适应 (Test-Time Adaptation, TTA) 的最新进展中，大多数现有方法侧重于更新归一化层以适应测试域。然而，依赖归一化-based 适应存在关键挑战。首先，诸如批量归一化 (Batch Normalization, BN) 的归一化层对小批量大小高度敏感，导致统计数据不稳定且不准确。此外，归一化-based 适应本质上受限于预训练模型的结构，因其依赖训练时统计数据可能无法良好泛化到未见域。这些问题在显著域迁移时限制了归一化-based TTA 方法的有效性。在本文中，我们引入一种基于缓冲层概念的新范式，以解决归一化层更新的根本限制。与现有修改模型核心参数的方法不同，我们的方法保留了预训练主干网络的完整性，本质上减轻了在在线适应期间发生灾难性遗忘的风险。通过全面实验，我们展示我们的方法不仅在缓解域迁移和增强模型鲁棒性方面优于传统方法，而且在遗忘方面表现出强大的韧性。此外，我们的缓冲层是模块化的，可无缝集成到 nearly all 现有 TTA 框架中，在 various 架构中实现持久的性能提升。这些发现验证了所提出方案在真实世界域适应场景中的有效性和通用性。代码可在 https://github.com/hyeongyu-kim/Buffer_TTA 获取。