对比解耦序列变分自编码器
机器学习
2021-10-26 v1 人工智能
摘要
自监督解耦表示学习是序列建模中的关键任务。所学表示有助于更好的模型可解释性与数据生成，并提升下游任务的样本效率。我们提出一种新颖的序列表示学习方法，称为对比解耦序列变分自编码器（C-DSVAE），以在潜空间中抽取并分离静态（时不变）与动态（时变）因子。不同于以往序列变分自编码器方法，我们使用一种新颖的证据下界，其在最大化输入与潜因子间互信息的同时，惩罚静态与动态因子间的互信息。我们在训练中利用互信息项的对比估计，结合简单而有效的增强技术，引入额外的归纳偏置。我们的实验表明，C-DSVAE 在多项指标上显著优于先前的最先进方法。
引用
@article{arxiv.2110.12091,
title = {Contrastively Disentangled Sequential Variational Autoencoder},
author = {Junwen Bai and Weiran Wang and Carla Gomes},
journal= {arXiv preprint arXiv:2110.12091},
year = {2021}
}
备注
Accepted by NeurIPS 2021