非负对比学习
机器学习
2024-04-24 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
深度表示在以黑盒方式迁移到下游任务时展现出良好的性能。然而，其固有的可解释性不足仍是一个重大挑战，因为这些特征对人类理解而言往往是不透明的。本文提出非负对比学习（NCL），一种旨在导出可解释特征的非负矩阵分解（NMF）复兴方法。NCL 的力量在于其对特征施加非负性约束，这类似于 NMF 提取与样本簇紧密对齐的特征的能力。NCL 不仅在数学上与 NMF 目标良好对齐，还保留了 NMF 的可解释性属性，从而产生比标准对比学习（CL）更稀疏、更解耦的表示。理论上，我们建立了 NCL 的可识别性和下游泛化保证。经验上，我们表明这些优势使 NCL 在特征解耦、特征选择以及下游分类任务上显著优于 CL。最后，我们证明 NCL 可以轻松扩展到其他学习场景，并同样有益于监督学习。代码可在 https://github.com/PKU-ML/non_neg 获取。
引用
@article{arxiv.2403.12459,
title = {Non-negative Contrastive Learning},
author = {Yifei Wang and Qi Zhang and Yaoyu Guo and Yisen Wang},
journal= {arXiv preprint arXiv:2403.12459},
year = {2024}
}
备注
22 pages. Accepted by ICLR 2024