DCN+：面向问答的混合目标与深度残差共注意力
计算与语言
2017-11-15 v2 人工智能
摘要
传统的问答模型使用交叉熵损失进行优化，其以惩罚邻近或重叠答案（有时同样准确）为代价来鼓励精确答案。我们提出了一种将交叉熵损失与自批判策略学习相结合的混合目标。该目标利用源于词重叠的奖励来解决评估指标与优化目标之间的错位。除混合目标外，我们还借助近期深度自注意力与残差网络的工作，以深度残差共注意力编码器改进动态共注意力网络（DCN）。我们的方案提升了模型在各类问题类型和输入长度上的性能，尤其对于需要捕捉长期依赖的长问题。在斯坦福问答数据集上，我们的模型取得了最先进的结果，精确匹配准确率为75.1%、F1为83.1%，而集成模型取得78.9%精确匹配准确率和86.0% F1。
引用
@article{arxiv.1711.00106,
title = {DCN+: Mixed Objective and Deep Residual Coattention for Question Answering},
author = {Caiming Xiong and Victor Zhong and Richard Socher},
journal= {arXiv preprint arXiv:1711.00106},
year = {2017}
}
备注
10 pages, 6 figures