贝叶斯门控非负对比学习
计算机视觉与模式识别
2026-05-28 v1 人工智能
摘要
虽然对比学习 (CL) 已彻底改变自监督表征学习,但其潜在表征高度 entangled 且透明,限制了其在安全关键应用中的可解释性。我们认识到,这种 entanglement 的根本原因是依赖确定性相似性度量,这些度量对所有特征维度相等地进行处理。在组成场景中,这会导致优化冲突:常见的背景特征(如 "blue sky")在正对中被鼓励对齐,同时在负对中被排斥,从而导致梯度振荡,阻碍精确的语义解缠合。为此,我们提出 BayesNCL (Bayesian Gated Non-Negative Contrastive Learning)。不同于标准方法,BayesNCL 引入概率门控机制,动态过滤任务无关的高频常见特征,同时选择性保留判别性语义。通过将特征选择形式化为带稀疏伯努利先验的变分推断问题,我们的方法有效解决了优化冲突。经验实验结果表明,Imagenet-100 上的 BayesNCL 在语义一致性方面相较于最先进的基线实现了惊人的 142.1% 的改进,yielding 高度可解释的表征而不损害下游任务性能。代码已公开于 https://github.com/Cui-Peng-624/BayesNCL。
关键词
引用
@article{arxiv.2605.28441,
title = {Bayesian Gated Non-Negative Contrastive Learning},
author = {Peng Cui and Jiahao Zhang and Lijie Hu},
journal= {arXiv preprint arXiv:2605.28441},
year = {2026}
}
备注
Accepted by ICML 2026