超越特征对齐的泛化：概念激活引导的对比学习
计算机视觉与模式识别
2023-10-17 v2
摘要
通过对比学习学习不变表示在域泛化（DG）中取得了最先进的性能。尽管取得了这样的成功，我们在本文中发现其核心学习策略——特征对齐——可能严重阻碍模型泛化。借鉴神经元可解释性的见解，我们从神经元激活视角刻画了该问题。具体而言，通过将特征元素视为神经元激活状态，我们表明传统对齐方法倾向于破坏所学不变特征的多样性，因为它们无差别地最小化所有神经元激活差异。这反而忽略了神经元间丰富的关联——其中许多尽管激活模式不同，却常识别相同的视觉概念。基于该发现，我们提出一种简单而有效的方法，概念对比（CoCo），其通过对比神经元中编码的高层概念来放宽逐元素特征对齐。我们的 CoCo 以即插即用的方式运行，因此可集成到 DG 中的任何对比方法中。我们在四种典型对比方法上评估 CoCo，表明 CoCo 促进了特征表示的多样性并一致地提升模型泛化能力。通过神经元覆盖分析解耦该成功，我们进一步发现 CoCo 在训练期间潜在地调用了更有意义的神经元，从而改善模型学习。
引用
@article{arxiv.2211.06843,
title = {Generalization Beyond Feature Alignment: Concept Activation-Guided Contrastive Learning},
author = {Yibing Liu and Chris Xing Tian and Haoliang Li and Shiqi Wang},
journal= {arXiv preprint arXiv:2211.06843},
year = {2023}
}