F^2-Softmax：通过频率分解 Softmax 实现神经文本生成的多样化
计算与语言
2020-10-06 v2 机器学习
摘要
尽管神经文本生成近期取得进展，刻画人类语言的丰富多样性仍难以实现。我们认为次优的文本生成主要归因于不平衡的词元分布，这在以最大似然为目标训练时尤其误导学习模型。作为简单而有效的补救，我们提出两种新方法 F^2-Softmax 和 MefMax，以实现即便在频率偏斜分布下也能均衡训练。MefMax 将词元唯一分配给频率类别，试图将相似频率的词元分组并均衡各类间的频率质量。F^2-Softmax 随后将目标词元的概率分布分解为 (i) 频率类别与 (ii) 来自目标频率类别的词元这两个条件概率的乘积。由于模型被限制在词汇子集内，其学习到更均匀的概率分布。在七个相关指标上的显著性能提升表明，我们的方法在改善生成文本多样性的同时也提升了其质量。
引用
@article{arxiv.2009.09417,
title = {F^2-Softmax: Diversifying Neural Text Generation via Frequency Factorized Softmax},
author = {Byung-Ju Choi and Jimin Hong and David Keetae Park and Sang Wan Lee},
journal= {arXiv preprint arXiv:2009.09417},
year = {2020}
}
备注
EMNLP 2020