分解神经元：基于混合专家激活稀疏性的持续测试时自适应
计算机视觉与模式识别
2024-05-28 v1 人工智能
摘要
持续测试时自适应(CTTA)旨在使预训练模型适应不断变化的目标域，已成为视觉模型的一项重要任务。由于当前的视觉模型似乎严重偏向于纹理，持续地将模型从一个域分布适应到另一个域分布可能会导致严重的灾难性遗忘。受人类视觉系统根据著名的三色理论熟练处理形状和纹理的能力的启发，我们探索将混合激活稀疏性专家(MoASE)作为CTTA任务的适配器。鉴于具有低/高激活的神经元对特定域/域无关特征的不同反应，MoASE通过不可微的空间差异化丢弃(SDD)将神经激活分解为高激活和低激活分量。基于这种分解，我们设计了一个多门结构，包括一个利用域信息自适应地组合处理不同强度SDD后稀疏激活的专家的域感知门(DAG)，以及一个为不同专家自适应地分配SDD特征选择阈值以实现更精确特征分解的激活稀疏性门(ASG)。最后，我们引入了一个稳态-近端(HP)损失，以规避在持续适应模型时的误差累积问题。在四个著名基准上的大量实验证明，我们的方法在分类和分割CTTA任务中都达到了最先进的性能。我们的代码现已发布在https://github.com/RoyZry98/MoASE-Pytorch。
引用
@article{arxiv.2405.16486,
title = {Decomposing the Neurons: Activation Sparsity via Mixture of Experts for Continual Test Time Adaptation},
author = {Rongyu Zhang and Aosong Cheng and Yulin Luo and Gaole Dai and Huanrui Yang and Jiaming Liu and Ran Xu and Li Du and Yuan Du and Yanbing Jiang and Shanghang Zhang},
journal= {arXiv preprint arXiv:2405.16486},
year = {2024}
}