利用定义模型寻找答案

受先前使用神经网络回答填字游戏问题尝试的启发（Hill, Cho, Korhonen, & Bengio, 2015），本论文实现了若干扩展，以改进现有定义模型在回答填字游戏问题任务上的性能。对原始实现的讨论与评估发现，循环神经模型在某些方面可加以扩展。来自相关领域——神经语言建模与神经机器翻译——的见解为这些扩展提供了依据与手段。对 LSTM 编码器应用了两种扩展：其一取序列上 LSTM 状态的平均值，其二是使用双向 LSTM，两种实现均提升了模型在定义与填字测试集上的性能。为改进填字游戏问题上的表现，训练数据扩充至包含填字游戏问题与答案，这同样改善了定义与填字游戏问题上的结果。最终实验采用子词单元分割，先在源端使用，随后进行了初步实验以实现字符级输出。起初，对基线结果的精确复现未获成功。尽管如此，这些扩展提升了性能，使定义模型超越了先前工作（Hill 等，2015）中循环神经网络的变体表现。