一种面向深度问答模型推理依据提取的框架
计算与语言
2021-10-12 v1 人工智能
摘要
随着基于神经网络的问答模型变得更深且更复杂，对能够访问模型预测推理依据的鲁棒框架的需求日益增长。当前提供模型工作机制洞察的技术要么依赖于对抗性数据集，要么提出带有显式解释生成组件的模型。这些技术耗时且难以扩展到现有模型和新数据集。在本工作中，我们使用“积分梯度(Integrated Gradients)”来提取基于阅读理解问答(RCQA)任务中现有 SOTA 模型的推理依据。在详细分析并与收集到的人类推理依据比较后，我们发现尽管提取的推理依据中约 40–80% 的词与人类推理依据重合（精确率），但人类推理依据仅有 6–19% 出现在提取的推理依据中（召回率）。
引用
@article{arxiv.2110.04620,
title = {A Framework for Rationale Extraction for Deep QA models},
author = {Sahana Ramnath and Preksha Nema and Deep Sahni and Mitesh M. Khapra},
journal= {arXiv preprint arXiv:2110.04620},
year = {2021}
}
备注
5 pages including references