基于MLE引导的参数搜索用于神经序列建模中的任务损失最小化
机器学习
2020-10-07 v2 机器学习
摘要
神经自回归序列模型被用于在各种自然语言处理（NLP）任务中生成序列，并依据序列级任务损失进行评估。这些模型通常用最大似然估计训练，该方法忽略任务损失，但作为代理目标在经验上表现良好。直接优化任务损失的典型方法（如策略梯度和最小风险训练）围绕序列空间中的采样展开，以获得基于单条序列损失评分的候选更新方向。本文中，我们开发了一种基于参数空间中随机搜索的替代方法，其利用对最大似然梯度的访问。我们提出最大似然引导参数搜索（MGS），其从更新方向分布中采样，该分布是当前参数附近与最大似然梯度附近的随机搜索的混合，每个方向按其任务损失的改进程度加权。MGS将采样转移到参数空间，并使用从多条序列汇集的损失对候选者评分。我们的实验表明，MGS能够优化序列级损失，在序列补全中显著减少重复与不完结现象，并在机器翻译中取得与最小风险训练相似的改进。
引用
@article{arxiv.2006.03158,
title = {MLE-guided parameter search for task loss minimization in neural sequence modeling},
author = {Sean Welleck and Kyunghyun Cho},
journal= {arXiv preprint arXiv:2006.03158},
year = {2020}
}