从组合泛化视角重访迭代反向翻译
计算与语言
2020-12-09 v1 人工智能
摘要
人类智能表现出组合泛化（即理解与生成已见成分之未见组合的能力），但当前的神经序列到序列模型缺乏此种能力。本文重访迭代反向翻译这一简单而有效的半监督方法，以探究其能否及如何提升组合泛化。本工作中：(1) 我们首先通过经验表明，迭代反向翻译在组合泛化基准（CFQ 和 SCAN）上大幅提升了性能。(2) 为理解迭代反向翻译为何有效，我们细致考察性能增益，发现迭代反向翻译能逐步纠正伪平行数据中的错误。(3) 为 further 鼓励该机制，我们提出课程式迭代反向翻译，其更好地提升了伪平行数据质量，从而进一步改进性能。
引用
@article{arxiv.2012.04276,
title = {Revisiting Iterative Back-Translation from the Perspective of Compositional Generalization},
author = {Yinuo Guo and Hualei Zhu and Zeqi Lin and Bei Chen and Jian-Guang Lou and Dongmei Zhang},
journal= {arXiv preprint arXiv:2012.04276},
year = {2020}
}
备注
accepted in AAAI 2021