通过组合特征对齐增强组合泛化能力
计算机视觉与模式识别
2024-05-24 v2 机器学习
机器学习
摘要
机器学习模型的实际应用经常面临数据分布偏移，即训练数据分布与测试数据分布之间存在差异。在常见的多领域多类设置中，随着类别和领域数量的增加，为每个领域 - 类别组合收集训练数据变得不可行。这一挑战自然引出了对具有组合泛化（CG）能力的模型的探索，使模型能够泛化到未见过的领域 - 类别组合。为了深入研究 CG 挑战，我们开发了 CG-Bench，这是一套源自现有真实世界图像数据集的 CG 基准，并观察到在基础模型（如 CLIP 和 DINOv2）上流行的预训练 - 微调范式难以应对这一挑战。为解决此挑战，我们提出了组合特征对齐（CFA），这是一种简单的两阶段微调技术：i) 在预训练编码器上学习与类别和领域标签相关的两个正交线性头；ii) 冻结新学习的头并对编码器进行微调。我们从理论和实证上证明了 CFA 促进了预训练模型的组合特征学习。我们进一步在 CG-Bench 上对 CLIP 和 DINOv2 这两个强大的预训练视觉基础模型进行了广泛实验。实验结果表明，CFA 在组合泛化方面优于常见的微调技术，证实了 CFA 在组合特征学习中的有效性。
引用
@article{arxiv.2402.02851,
title = {Enhancing Compositional Generalization via Compositional Feature Alignment},
author = {Haoxiang Wang and Haozhe Si and Huajie Shao and Han Zhao},
journal= {arXiv preprint arXiv:2402.02851},
year = {2024}
}
备注
Published in Transactions on Machine Learning Research (TMLR). The code is released at https://github.com/Haoxiang-Wang/Compositional-Feature-Alignment