最短理据是人类理解的最佳解释吗?
计算与语言
2022-03-17 v1 人工智能
人机交互
机器学习
摘要
现有的自解释模型通常倾向于提取尽可能短的理据——即输入文本中“导致”相应输出的片段——来解释模型预测,其假设是较短的理据对人类而言更直观。然而,这一假设尚待验证。最短的理据确实是最易被人类理解的吗?为回答该问题,我们设计了一种自解释模型 LimitedInk,它允许用户提取任意目标长度的理据。与现有基线相比,LimitedInk 达到了相当的任务端性能及人工标注理据一致性,使其成为近期自解释模型类的合适代表。我们利用 LimitedInk 开展了一项关于理据长度影响的用户研究,其中我们让人类评判者仅基于 LimitedInk 生成的不同长度理据来预测文档的情感标签。我们表明,过短的理据并不比随机掩码文本更能帮助人类预测标签,这暗示了需要更谨慎地设计最佳人类理据。
引用
@article{arxiv.2203.08788,
title = {Are Shortest Rationales the Best Explanations for Human Understanding?},
author = {Hua Shen and Tongshuang Wu and Wenbo Guo and Ting-Hao 'Kenneth' Huang},
journal= {arXiv preprint arXiv:2203.08788},
year = {2022}
}
备注
To appear in ACL 2022 main conference