测试时适应中的神经崩塌
计算机视觉与模式识别
2026-04-07 v2
摘要
测试时适应 (TTA) 通过在推理期间在线更新模型来增强模型对分布外 (OOD) 数据的鲁棒性，但现有方法缺乏对域迁移下性能下降根本原因的理论认识。最近提出的神经崩塌 (Neural Collapse, NC) 作为深度神经网络 (DNN) 的一种新兴几何性质，为 TTA 提供了宝贵的洞察。本文将 NC 扩展到样本层面，发现一种称为样本级对齐崩塌 (NC3+) 的新现象，即训练模型获得的样本特征嵌入与相应分类器权重高度对齐。基于 NC3+，我们认识到性能下降源于适应期间的样本级对齐失效，这在更大的分布迁移下会被放大。这表明需要重新对齐特征嵌入与其相应分类器权重。然而，对齐失效会导致在域迁移下伪标签不可靠。为此，我们提出 NCTTA，一种结合几何接近性与预测置信度的混合目标特征-分类器对齐方法，以缓解不可靠伪标签的影响。大量实验表明，NCTTA 在增强对域迁移的鲁棒性方面有效，例如在 ImageNet-C 上相较 Tent 提升 14.52%。项目页面已公开 https://github.com/Cevaaa/NCTTA。
引用
@article{arxiv.2512.10421,
title = {Neural Collapse in Test-Time Adaptation},
author = {Xiao Chen and Zhongjing Du and Jiazhen Huang and Xu Jiang and Li Lu and Jingyan Jiang and Zhi Wang},
journal= {arXiv preprint arXiv:2512.10421},
year = {2026}
}
备注
Aceepted by CVPR 2026