将自回归生成模型视作基于能量的模型可使其更优
机器学习
2022-06-28 v1 计算与语言
摘要
自回归生成模型被广泛使用，尤其在处理序列数据的任务中。然而，由于链式条件建模的固有特性（例如暴露偏差或缺乏长程一致性），它们一直受到一系列固有缺陷的困扰，严重限制了其正确建模分布的能力。本文提出一种称为E-ARM的独特方法，用于训练自回归生成模型，其利用了精心设计的基于能量的学习目标。通过利用softmax操作的额外自由度，我们可使自回归模型本身成为基于能量的模型以度量输入似然，而无需引入任何额外参数。此外，我们表明E-ARM可被高效训练，并能够缓解暴露偏差问题以及增强自回归生成模型的时间一致性。涵盖语言建模、神经机器翻译和图像生成等基准的广泛实证结果证明了所提方法的有效性。
引用
@article{arxiv.2206.12840,
title = {Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One},
author = {Yezhen Wang and Tong Che and Bo Li and Kaitao Song and Hengzhi Pei and Yoshua Bengio and Dongsheng Li},
journal= {arXiv preprint arXiv:2206.12840},
year = {2022}
}
备注
Preprint version