中文

Discover Your Neighbors:动态世界中高级稳定测试时适应方法

机器学习 2024-06-11 v1 人工智能 计算机视觉与模式识别 多媒体

摘要

尽管取得了一些进展,深度神经网络仍在训练域与测试域之间的分布迁移下 suffer performance 下降,这导致面向多媒体应用的体验质量 (QoE) 显著下降。现有的测试时适应 (TTA) 方法在面对 batch 中动态的多个测试分布时受到挑战。本 work 提出了一种新的视角来分析 batch normalization 技术,通过 class-related 和 class-irrelevant 特征进行分析,我们的观察表明,将 source 和 test batch normalization statistics 组合在一起能够稳健地刻画目标分布。然而,test statistics 必须具有高相似性。因此,我们提出了 Discover Your Neighbours (DYN),这是一种首次实现无 backward 的方法,专为动态 TTA 设计。核心创新在于通过 instance normalization statistics 识别相似样本并聚类成组,从而提供一致的 class-irrelevant 表示。具体而言,我们的 DYN 包括 layer-wise instance statistics clustering (LISC) 和 cluster-aware batch normalization (CABN)。在 LISC 中,我们通过计算 batch 中 instance normalization statistics 之间的余弦相似度,对每个 BN 层的近似特征样本进行 layer-wise 聚类。CABN 然后将 SBN 和 TCN statistics 聚合在一起,以协同刻画目标分布,实现更稳健的表示。实验结果验证了 DYN 的稳健性和有效性,表明其在动态数据流模式下能够保持性能。

关键词

引用

@article{arxiv.2406.05413,
  title  = {Discover Your Neighbors: Advanced Stable Test-Time Adaptation in Dynamic World},
  author = {Qinting Jiang and Chuyang Ye and Dongyan Wei and Yuan Xue and Jingyan Jiang and Zhi Wang},
  journal= {arXiv preprint arXiv:2406.05413},
  year   = {2024}
}

备注

10 pages