用于文本生成的对抗互信息
计算与语言
2020-07-02 v1 机器学习
机器学习
摘要
近年来，最大化源端与目标端之间互信息 (MI) 的进展已证明其在文本生成中的有效性。然而，以往工作很少关注对 MI 反向网络（即目标到源的依赖关系）的建模，而这正是变分信息最大化下界紧致性的关键。本文提出对抗互信息 (AMI)：一种文本生成框架，其形式为一个旨在识别源端与目标端联合交互的新型鞍点（极小极大）优化。在该框架内，正向与反向网络能够通过比较真实与合成数据分布，迭代地促进或抑制彼此生成的样本。我们还开发了一种潜在噪声采样策略，利用高层语义空间中的随机变化来增强生成过程中的长期依赖。基于不同文本生成任务的大量实验表明，所提出的 AMI 框架能显著优于若干强基线，并且我们也展示了 AMI 有潜力为变分信息最大化问题带来更紧的互信息最大下界。
引用
@article{arxiv.2007.00067,
title = {Adversarial Mutual Information for Text Generation},
author = {Boyuan Pan and Yazheng Yang and Kaizhao Liang and Bhavya Kailkhura and Zhongming Jin and Xian-Sheng Hua and Deng Cai and Bo Li},
journal= {arXiv preprint arXiv:2007.00067},
year = {2020}
}
备注
Published at ICML 2020