InfoNCE 是识别参数化模型中的变分推断
机器学习
2023-08-11 v3 机器学习
摘要
本文中，我们表明 InfoNCE 目标等价于一类新概率生成模型——识别参数化模型（RPM）中的 ELBO（证据下界）。当我们学习最优先验时，RPM 的 ELBO 等于互信息（MI；差一常数），从而建立与 InfoNCE 等已有自监督学习方法的联系。然而，实际 InfoNCE 方法并不以 MI 为目标；MI 对任意可逆变换不变，故使用 MI 目标会导致高度纠缠的表示（Tschannen 等，2019）。相反，实际 InfoNCE 目标是 MI 的简化下界，即便在无限样本极限下也是松散的。因此，一个奏效的目标（即实际 InfoNCE 目标）看似是作为一个不奏效目标（即导致任意纠缠表示的真实 MI）的松散界而被提出。我们为实际 InfoNCE 目标给出另一种动机。具体而言，我们表明在无限样本极限下，对特定先验选择，实际 InfoNCE 目标等于 ELBO（差一常数）；而 ELBO 等于带确定性识别模型的边际似然。因而我们认为，VAE（变分自编码器）视角比 MI 更能合理动机化 InfoNCE，因为实际 InfoNCE 目标仅被 MI 松散界定，却等于 ELBO/边际似然（差一常数）。
引用
@article{arxiv.2107.02495,
title = {InfoNCE is variational inference in a recognition parameterised model},
author = {Laurence Aitchison and Stoil Ganev},
journal= {arXiv preprint arXiv:2107.02495},
year = {2023}
}