FiTs:面向知识感知问答的细粒度两阶段训练
计算与语言
2023-03-16 v2 机器学习
摘要
知识感知问答(KAQA)要求模型在知识库上回答问题,这对于开放域问答和特定领域问答都至关重要,尤其在语言模型单独无法提供所需全部知识时。尽管近期 KAQA 系统倾向于整合来自预训练语言模型(PLM)的语言知识与来自知识图谱(KG)的事实知识以回答复杂问题并取得了可喜结果,但由于(i)二者之间的语义与分布鸿沟,以及(ii)基于两种模态所提供知识进行联合推理的困难,在有效融合 PLM 与 KG 的表示方面仍存在瓶颈。为解决上述两个问题,我们提出一种细粒度两阶段训练框架(FiTs)以提升 KAQA 系统性能:第一阶段旨在对齐 PLM 与 KG 的表示,从而弥合它们之间的模态鸿沟,称为知识自适应后训练;第二阶段称为知识感知微调,旨在基于对齐表示提升模型的联合推理能力。具体而言,除 QA 监督外,我们通过两个辅助自监督任务对后训练模型进行微调。大量实验表明,我们的方法在常识推理(即 CommonsenseQA、OpenbookQA)与医学问答(即 MedQA-USMILE)领域的三个基准上取得了最先进的性能。
引用
@article{arxiv.2302.11799,
title = {FiTs: Fine-grained Two-stage Training for Knowledge-aware Question Answering},
author = {Qichen Ye and Bowen Cao and Nuo Chen and Weiyuan Xu and Yuexian Zou},
journal= {arXiv preprint arXiv:2302.11799},
year = {2023}
}
备注
Accepted in AAAI 2023, oral