高斯联合嵌入用于自监督表征学习

自监督表征学习通常依赖确定性预测架构在潜空间中对齐上下文和目标视图。虽然在许多情景下效果良好，但此类方法在真正多模态反问题中受限，平方损失预测会趋向条件平均值，且经常依赖架构非对称性以防止表征坍缩。本文提出一种基于生成式联合建模的概率方法。我们引入高斯联合嵌入（Gaussian Joint Embeddings, GJE）及其多模态扩展——高斯混合联合嵌入（Gaussian Mixture Joint Embeddings, GMJE），后者建模上下文与目标表示的联合密度，并用显式概率模型下的闭式条件推断取代黑盒预测。这产生原则性的不确定性估计和协方差感知的目标，用于控制潜空间几何。我们进一步识别出朴素经验批量优化的一个失效模式，称为“马哈拉诺夫迹陷阱”，并开发了多种补救措施，涵盖参数化、自适应与非参数化设置，包括基于原型的GMJE、条件混合密度网络（GMJE-MDN）、拓扑自适应的 Growing Neural Gas（GMJE-GNG），以及顺序蒙特卡洛（SMC）记忆库。此外，我们展示标准对比学习可被解释为GMJE框架的退化非参数极限情况。在合成多模态对齐任务和视觉基准测试中实验表明，GMJE能够恢复复杂的条件结构，学习具竞争力的判别性表征，并定义的潜密度更适合无条件采样，相较于确定性或单模态基线表现更佳。