面向自监督表征学习的判别性概率建模
机器学习
2025-03-06 v3 机器学习
摘要
我们研究了在连续域上进行判别性概率建模以解决(多模态)自监督表征学习的数据预测任务。为解决计算每个锚点数据分母函数中积分的挑战，我们利用多重重要抽样 (MIS) 技术进行稳健的蒙特卡罗积分，这可以恢复 InfoNCE 基于对比损失的特殊情况。在此概率建模框架下，我们进行一般化误差分析以揭示当前 InfoNCE 基于对比损失在自监督表征学习中的局限性，并通过减少蒙特卡罗积分误差来为开发更好的方法提供见解。为此，我们提出一种通过凸优化近似估计所需条件概率密度之和的非参数方法，得到一种新的对比目标函数用于自监督表征学习。此外，我们设计了一个高效地求解所提出目标函数的算法。我们在对比图像-语言预训练任务上经验性地将我们的算法与代表性基线进行了比较。CC3M 和 CC12M 数据集上的实验结果表明，我们的算法在整体性能方面优于基线。我们的代码可在 https://github.com/bokun-wang/NUCLR 查阅。
引用
@article{arxiv.2410.09156,
title = {On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning},
author = {Bokun Wang and Yunwen Lei and Yiming Ying and Tianbao Yang},
journal= {arXiv preprint arXiv:2410.09156},
year = {2025}
}
备注
To appear in ICLR 2025