CHIPS：基于曲率感知的混合影响数据选择高效 CLIP 适应方法
机器学习
2026-03-17 v2
摘要
将 CLIP 适用于垂直领域通常通过新颖的微调策略或在大型领域特定数据集上进行持续预训练 (CPT) 来实现。然而，在此过程中数据本身仍是一个被充分探索不足的因素。我们从数据中心的角度重新审视这一任务：在 CPT 中，是否可以通过有效的数据选择来替代大规模数据集？我们引入 CHIPS (Curvature-aware Hybrid Influence in Projection Subspace)，为每个图像-文本对分配一个实用分数，该分数整合了三个互补因素，与三个目标相吻合：通过在 CLIP 的终端子空间中计算的曲率感知和牛顿式对齐实现忠实性；通过 InfoNCE 感知的曲率估计器和 Johnson-Lindenstrauss (JL) 画笔实现可扩展性；通过选择感知相关性权重和可学习性组合实现保留，在目标适应与通用域保留之间进行平衡。我们通过证明代理与完整参数对齐之间的相关性下界以及对曲率混合和 JL 画笔引入的偏差-方差权衡进行理论上的正当化。我们在各种设置下对 CHIPS 进行了经验评估：1) CHIPS 在 17 个医学基准测试中达到选择基准的最佳性能，仅使用 30% 的数据即可匹配完整数据集的 CPT，并仅用 10% 的数据即可超越半数据集的 CPT 2) 在 31 个通用领域基准测试中，CHIPS 在所有保留比例下均表现出最小的性能下降。
引用
@article{arxiv.2511.18519,
title = {CHIPS: Efficient CLIP Adaptation via Curvature-aware Hybrid Influence-based Data Selection},
author = {Xinlin Zhuang and Yichen Li and Xiwei Liu and Haolin Yang and Yifan Lu and Ziyun Zou and Yulong Li and Huifa Li and Dongliang Chen and Qinglei Wang and Weiyang Liu and Ying Qian and Jiangming Shi and Imran Razzak},
journal= {arXiv preprint arXiv:2511.18519},
year = {2026}
}
备注
Accepted by CVPR 2026