多通道生成语言模型：学习通道内与跨通道的所有可能因子分解
计算与语言
2020-10-12 v1 机器学习
机器学习
摘要
一个通道对应于底层语义的一个视角或变换。一对英语和法语的平行句表达了相同的底层语义，但通过对应于其语言的两个独立通道。在这项工作中，我们提出了多通道生成语言模型（MGLM）。MGLM是一个关于通道的生成联合分布模型。MGLM对所有通道内及跨所有通道的所有可能因子分解进行边际化。MGLM赋予了灵活的推断能力，包括无条件生成、条件生成（观测一个通道并生成其他通道）和部分观测生成（不完整的观测分布在所有通道中）。我们在包含英语、法语、捷克语和德语的Multi30K数据集上进行了实验。我们展示了无条件、条件和部分条件生成的实验。我们提供了从生成联合分布中无条件采样的定性样本。我们还定量分析了质量-多样性权衡，并发现MGLM优于传统的双语判别模型。
引用
@article{arxiv.2010.04438,
title = {Multichannel Generative Language Model: Learning All Possible Factorizations Within and Across Channels},
author = {Harris Chan and Jamie Kiros and William Chan},
journal= {arXiv preprint arXiv:2010.04438},
year = {2020}
}
备注
10 pages (+3 appendix), 11 figures, 5 tables. Accepted to Findings of EMNLP 2020