概率对比学习恢复模糊输入的正确偶然不确定性
机器学习
2023-05-18 v3 人工智能
机器学习
摘要
最近已证明，对比训练的编码器能够反演数据生成过程：它们将每个输入（例如一张图像）编码为生成该图像的真实潜在向量 (Zimmermann et al., 2021)。然而，现实世界的观测通常具有固有的模糊性。例如，图像可能模糊或仅显示三维物体的二维视图，因此多个潜在变量可能生成了它们。这使得潜在向量的真实后验具有概率性并带有异方差不确定性。在此设置下，我们扩展了常见的 InfoNCE 目标和编码器，以预测潜在分布而非点。我们证明，这些分布在潜在空间的一个旋转范围内，恢复了数据生成过程的正确后验，包括其偶然不确定性水平。除了提供校准的不确定性估计外，这些后验还允许在图像检索中计算可信区间。它们包含与给定查询具有相同潜在变量的图像，并受限于其不确定性。代码可在 https://github.com/mkirchhof/Probabilistic_Contrastive_Learning 获取。
引用
@article{arxiv.2302.02865,
title = {Probabilistic Contrastive Learning Recovers the Correct Aleatoric Uncertainty of Ambiguous Inputs},
author = {Michael Kirchhof and Enkelejda Kasneci and Seong Joon Oh},
journal= {arXiv preprint arXiv:2302.02865},
year = {2023}
}
备注
Accepted at ICML 2023