利用极少或无需配对数据学习两个序列的联合分布
机器学习
2022-12-07 v1 人工智能
机器学习
摘要
我们提出了一个关于两个序列（例如文本与语音）的噪声信道生成模型，其能够在仅有少量配对数据时揭示两种模态间的关联。为解决真实数据设置下精确模型不可解的问题，我们提出了变分推断近似。为用类别数据训练该变分模型，我们提出了一种 KL 编码器损失方法，其与 wake-sleep 算法存在联系。仅通过观测边缘分布中的未配对样本来辨识联合或条件分布，仅在特定数据分布条件下可行；我们讨论了在何种条件独立假设下可能实现，以指导架构设计。实验结果表明，在拥有海量未配对数据的情况下，即便极少量配对数据（5 分钟）也足以学会关联两种模态（此处为字素与音素），这为在低数据资源场景下将所有 seq2seq 模型采纳于这一原理性方法铺平了道路。
引用
@article{arxiv.2212.03232,
title = {Learning the joint distribution of two sequences using little or no paired data},
author = {Soroosh Mariooryad and Matt Shannon and Siyuan Ma and Tom Bagby and David Kao and Daisy Stanton and Eric Battenberg and RJ Skerry-Ryan},
journal= {arXiv preprint arXiv:2212.03232},
year = {2022}
}