用双解码器Transformer求解数学应用题
机器学习
2019-08-30 v1 计算与语言
摘要
本文提出一种基于Transformer的模型来生成数学应用题的方程。在不使用拷贝与对齐机制时，其效果远优于RNN模型，并且可以胜过复杂的拷贝与对齐RNN模型。我们还表明，在生成任务中用两个解码器（从左至右与从右至左）联合训练一个Transformer是有益的。这样的Transformer不仅因集成效应而优于仅有一个解码器的模型，还因为改进了编码器训练过程而表现更好。我们还尝试向模型加入强化学习，显示出相比MLE训练有所提升的性能。
引用
@article{arxiv.1908.10924,
title = {Solving Math Word Problems with Double-Decoder Transformer},
author = {Yuanliang Meng and Anna Rumshisky},
journal= {arXiv preprint arXiv:1908.10924},
year = {2019}
}