具有自动特征重要性发现的可辨识对比学习
计算机视觉与模式识别
2023-10-31 v1
摘要
现有对比学习方法依赖成对样本对比来学习数据表示，但所学特征常缺乏人类视角的清晰可解释性。理论上，其缺乏特征可辨识性，不同初始化可能导致完全不同的特征。本文研究一种名为三因子对比学习(triCL)的新方法，其涉及形式为的3因子对比，其中为可学习的对角矩阵，自动捕获各特征的重要性。我们表明，通过这一简单扩展，triCL不仅能获得消除随机性的可辨识特征，还能获得依据重要性矩阵排序的更具可解释性的特征。我们表明高重要性特征通过捕获共同的类间特征而具有良好可解释性，并在使用少量特征进行图像检索评估时获得优越性能。所提出的triCL目标是通用的，可应用于SimCLR与CLIP等不同对比学习方法。我们认为，它以极小开销改善了现有2因子对比学习的可辨识性与可解释性，是后者的更好替代。代码见https://github.com/PKU-ML/Tri-factor-Contrastive-Learning。
引用
@article{arxiv.2310.18904,
title = {Identifiable Contrastive Learning with Automatic Feature Importance Discovery},
author = {Qi Zhang and Yifei Wang and Yisen Wang},
journal= {arXiv preprint arXiv:2310.18904},
year = {2023}
}