用于If-Then程序合成的潜在注意力
计算与语言
2016-11-08 v1
摘要
从自然语言描述自动翻译为程序是一个长期存在的具有挑战性的问题。在这项工作中，我们考虑一个简单但重要的子问题：从文本描述到If-Then程序的翻译。我们设计了一种新颖的神经网络架构用于该任务，并对其进行端到端训练。具体而言，我们引入潜在注意力(Latent Attention)，以两阶段过程计算描述中词的乘积权重，目标是更好地利用指示预测程序元素相关部分的自然语言结构。我们的架构将错误率相比先前工作降低了28.57%。我们还提出了If-Then程序合成的一次性学习场景，并使用我们现有的数据集进行模拟。我们展示了该场景下训练过程的一种变体，其优于原始过程，显著缩小了与用所有数据训练的模型之间的差距。
引用
@article{arxiv.1611.01867,
title = {Latent Attention For If-Then Program Synthesis},
author = {Xinyun Chen and Chang Liu and Richard Shin and Dawn Song and Mingcheng Chen},
journal= {arXiv preprint arXiv:1611.01867},
year = {2016}
}
备注
Accepted by NIPS 2016