向知识库问答模型中注入数值推理能力
计算与语言
2022-05-17 v2
摘要
基于嵌入的方法在知识库问答(KBQA)中很流行，但当前少数模型具备数值推理能力，因而难以回答序数约束问题。本文提出一种特别考虑数值推理的新型基于嵌入的KBQA框架。我们在最先进的基于嵌入的KBQA模型NSM之上提出NumericalTransformer，以构建NT-NSM。为实现更好的训练，我们提出了两个带有显式数值导向损失函数的预训练任务，并在两个生成的训练集上应用，以及一种基于模板的数据增强方法来丰富序数约束问答数据集。在KBQA基准上的大量实验表明，借助我们的训练算法，NT-NSM获得了数值推理能力，并在回答序数约束问题时大幅优于基线。
引用
@article{arxiv.2112.06109,
title = {Injecting Numerical Reasoning Skills into Knowledge Base Question Answering Models},
author = {Yu Feng and Jing Zhang and Xiaokang Zhang and Lemao Liu and Cuiping Li and Hong Chen},
journal= {arXiv preprint arXiv:2112.06109},
year = {2022}
}