E-KAR：一个面向自然语言类比推理可解释性的基准
计算与语言
2022-10-27 v1 人工智能
摘要
识别类比的能力是人类认知的基础。现有的测试词语类比的基准未能揭示神经模型进行类比推理的底层过程。秉持具备推理能力的模型应当基于正确理由得出正确结论这一信念，我们提出了一种首创的可解释知识密集型类比推理基准（E-KAR）。我们的基准包含源自公务员考试、需大量背景知识才能解答的 1,655 道（中文）和 1,251 道（英文）题目。更为重要的是，我们设计了一种自由文本解释方案，用以说明是否应建立某种类比，并对每一道题目及候选答案进行了人工标注。实证结果表明，该基准在解释生成与类比问答两项任务上对一些最先进的（SOTA）模型而言都极具挑战性，这为相关领域的进一步研究提供了契机。
引用
@article{arxiv.2203.08480,
title = {E-KAR: A Benchmark for Rationalizing Natural Language Analogical Reasoning},
author = {Jiangjie Chen and Rui Xu and Ziquan Fu and Wei Shi and Zhongqiao Li and Xinbo Zhang and Changzhi Sun and Lei Li and Yanghua Xiao and Hao Zhou},
journal= {arXiv preprint arXiv:2203.08480},
year = {2022}
}
备注
Accepted to ACL 2022 (Findings)