通过对抗-对比最优传输的表示学习

在本文中，我们研究为序列数据学习紧凑（低维）表示以捕捉其隐式时空线索的问题。为了从数据中最大化提取此类信息线索，我们将该问题置于对比表示学习的背景下，并为此通过最优传输提出了一个新的目标函数。具体而言，我们的公式寻求数据的低维子空间表示，该表示联合地（i）在最优传输（即 Wasserstein 距离）下最大化数据（嵌入该子空间）与对抗数据分布的距离，（ii）捕捉时间顺序，以及（iii）最小化数据失真。为生成对抗分布，我们提出了一个将 Wasserstein GANs 与分类器连接的新框架，为对比学习提供良好的负分布这一当前具有挑战性的问题提供了原则性机制。我们的完整目标被表述为 Grassmann 流形上的子空间学习问题，并通过黎曼优化求解。为实证研究所提公式，我们提供了视频序列中人体动作识别任务的实验。我们的结果展示出相对于具有挑战性基线的竞争力性能。