循环退火调度：缓解 KL 消失的简单方法
机器学习
2019-06-12 v3 人工智能
计算与语言
计算机视觉与模式识别
机器学习
摘要
带有自回归解码器的变分自编码器（VAE）已被应用于许多自然语言处理（NLP）任务。VAE目标由两项组成：(i) 重构项和 (ii) KL正则项，由加权超参数 \beta 平衡。一个臭名昭著的训练困难是 KL 项趋于消失。本文中我们研究 \beta 的调度方案，并表明 KL 消失是由优化初期解码器训练缺乏良好潜码所致。为此，我们提出一种循环退火调度，重复多次增大 \beta 的过程。这一新流程通过利用前一循环的具信息性表示作为热重启，实现了更有意义潜码的渐进式学习。循环退火的有效性在广泛的 NLP 任务上得到验证，包括语言建模、对话响应生成和无监督语言预训练。
引用
@article{arxiv.1903.10145,
title = {Cyclical Annealing Schedule: A Simple Approach to Mitigating KL Vanishing},
author = {Hao Fu and Chunyuan Li and Xiaodong Liu and Jianfeng Gao and Asli Celikyilmaz and Lawrence Carin},
journal= {arXiv preprint arXiv:1903.10145},
year = {2019}
}
备注
Published in NAACL 2019; The first two authors contribute equally; Code: https://github.com/haofuml/cyclical_annealing