面向测试时适应的特征冗余消除 (FRET)
机器学习
2025-05-19 v1
摘要
测试时适应 (TTA) 旨在增强深度学习模型在面对训练数据分布发生偏移的测试数据时的泛化能力。在此情境下，仅可获得预训练模型和无标记的测试数据，这使其特别适用于隐私敏感的应用。在实际操作中，我们注意到随着域偏移的加剧，嵌入特征中的冗余倾向于增加。然而，现有的 TTA 方法往往忽视了这种冗余，这会阻碍模型对新数据的适应性。为此，我们提出一种面向测试时适应的特征冗余消除方法，即 Feature Redundancy Elimination for Test-time Adaptation (FRET)。一种简单直接的做法 (S-FRET) 是将特征冗余得分作为优化目标，以提高适应性。尽管该方法简单有效，但 S-FRET 在标签偏移方面存在局限，限制了其在实际场景中的鲁棒性。为缓解这一局限，我们进一步提出了基于图的 FRET (G-FRET)，将图卷积网络 (GCN) 与对比学习相结合。该设计不仅减少特征冗余，还在表示和预测层面提升特征的判别性。广泛的实验在多个模型架构、任务和数据集上表明，S-FRET 和 G-FRET 均效果显著，其中 G-FRET 实现了最先进的性能。进一步分析表明，G-FRET 在推理过程中能够提取非冗余且高度判别性的特征，从而促进更稳健的测试时适应。
引用
@article{arxiv.2505.10641,
title = {FRET: Feature Redundancy Elimination for Test Time Adaptation},
author = {Linjing You and Jiabao Lu and Xiayuan Huang and Xiangli Nie},
journal= {arXiv preprint arXiv:2505.10641},
year = {2025}
}