自然语言解释是否代表有效的逻辑论证?可解释 NLI 黄金标准中的蕴含验证
计算与语言
2021-05-18 v2 人工智能
摘要
可解释 NLP 的一个新兴研究方向是构建富含人工标注解释与理据的数据集,用于训练和评估具备逐步推理与解释生成能力的模型。尽管人工标注解释被用作推理的基准真值,却缺乏对其一致性与严谨性的系统评估。为对 NLI 的解释黄金标准(XGS)提供关键质量评估,我们提出名为解释蕴含验证(EEV)的系统标注方法,以量化人工标注解释的逻辑有效性。在三个主流数据集上应用 EEV 揭示出令人惊讶的结论:多数解释虽表面连贯,却代表逻辑无效的论证,从不完整到含有明确逻辑错误不等。该结论证实解释的推理属性仍鲜被形式化与理解,且此方向需额外工作以改进解释黄金标准的构建方式。
引用
@article{arxiv.2105.01974,
title = {Do Natural Language Explanations Represent Valid Logical Arguments? Verifying Entailment in Explainable NLI Gold Standards},
author = {Marco Valentino and Ian Pratt-Hartmann and André Freitas},
journal= {arXiv preprint arXiv:2105.01974},
year = {2021}
}
备注
To appear in IWCS 2021 proceedings