通过一致性潜在编码实现CCA中的多视角对齐与生成
机器学习
2020-05-26 v1 计算机视觉与模式识别
机器学习
摘要
多视角对齐，即实现多视角输入的一一对应，在许多现实世界的多视角应用中至关重要，尤其是对于跨视角数据分析问题。近来，越来越多的工作利用典型相关分析（CCA）研究这一对齐问题。然而，现有的CCA模型由于忽视不确定性或多视角编码不一致，容易导致多视角对齐错误。为解决这两个问题，本文从贝叶斯视角研究多视角对齐。深入探究不一致编码的损害后，我们提出通过匹配多视角随机变量联合分布在因式分解不同形式下的边缘化来恢复多视角输入的对应关系。为实现我们的设计，我们提出了对抗性CCA（ACCA），它通过对抗训练范式匹配边缘化的潜在编码来实现一致性潜在编码。我们基于条件互信息的分析表明，ACCA能灵活处理隐式分布。在噪声输入设置下的相关性分析和跨视角生成的大量实验证明了我们模型的优越性。
引用
@article{arxiv.2005.11716,
title = {Multi-view Alignment and Generation in CCA via Consistent Latent Encoding},
author = {Yaxin Shi and Yuangang Pan and Donna Xu and Ivor W. Tsang},
journal= {arXiv preprint arXiv:2005.11716},
year = {2020}
}
备注
37 pages, 22 figures