人类解释总是有帮助的吗？面向自然语言解释的客观评估
计算与语言
2023-05-23 v2
摘要
人工标注的标签与解释对于训练可解释 NLP 模型至关重要。然而，与质量较易校准（例如通过多数投票）的人工标注标签不同，人工撰写的自由形式解释可能相当主观。在盲目将其用作训练 ML 模型的真值之前，需要一个关键问题：我们如何评估人工标注解释的质量？在本文中，我们基于这样一种观点：人工标注解释的质量可根据其对所收集标注所针对的期望 NLP 任务中 ML 模型性能的帮助程度（或损害程度）来衡量。与常用的 Simulatability 分数相比，我们定义了一种新指标，可考虑解释在微调与推理阶段对模型性能的帮助程度。借助统一的数据集格式，我们在五个数据集（如 e-SNLI）上针对两种模型架构（T5 和 BART）评估了所提指标，结果表明我们的指标能客观评估人工标注解释的质量，而 Simulatability 有所不足。
引用
@article{arxiv.2305.03117,
title = {Are Human Explanations Always Helpful? Towards Objective Evaluation of Human Natural Language Explanations},
author = {Bingsheng Yao and Prithviraj Sen and Lucian Popa and James Hendler and Dakuo Wang},
journal= {arXiv preprint arXiv:2305.03117},
year = {2023}
}
备注
Accepted to ACL2023