SURGEON：基于动态激活稀疏性的内存自适应全测试时适应方法

尽管深度模型日益集成到移动终端，但由于各种部署干扰，这些模型的准确率会显著下降。测试时适应（TTA）已涌现出通过在线适应无标签目标数据来提高深度模型性能的能力。然而，显著的内存开销——尤其是在资源受限的终端——阻碍了大多数基于反向传播的TTA方法的有效部署。为解决内存限制问题，本文引入SURGEON方法，在不依赖特定网络架构或修改原始训练程序的情况下，大幅降低内存成本，同时保持相当的准确率提升。具体而言，我们提出一种新颖的动态激活稀疏策略，直接在适应过程中按层级比例动态剪枝激活值，从而实现对学习能力和内存成本的数据敏感灵活控制。在此基础上，考虑梯度重要性和层激活内存两个指标，以确定各层的剪枝比例，反映准确率贡献和内存效率。实验表明，我们的方法不仅显著降低内存使用，还实现了优于基线的更高准确率，跨数据集、网络架构和任务均实现最先进（SOTA）性能。