中文

最短理据是人类理解的最佳解释吗?

计算与语言 2022-03-17 v1 人工智能 人机交互 机器学习

摘要

现有的自解释模型通常倾向于提取尽可能短的理据——即输入文本中“导致”相应输出的片段——来解释模型预测,其假设是较短的理据对人类而言更直观。然而,这一假设尚待验证。最短的理据确实是最易被人类理解的吗?为回答该问题,我们设计了一种自解释模型 LimitedInk,它允许用户提取任意目标长度的理据。与现有基线相比,LimitedInk 达到了相当的任务端性能及人工标注理据一致性,使其成为近期自解释模型类的合适代表。我们利用 LimitedInk 开展了一项关于理据长度影响的用户研究,其中我们让人类评判者仅基于 LimitedInk 生成的不同长度理据来预测文档的情感标签。我们表明,过短的理据并不比随机掩码文本更能帮助人类预测标签,这暗示了需要更谨慎地设计最佳人类理据。

关键词

引用

@article{arxiv.2203.08788,
  title  = {Are Shortest Rationales the Best Explanations for Human Understanding?},
  author = {Hua Shen and Tongshuang Wu and Wenbo Guo and Ting-Hao 'Kenneth' Huang},
  journal= {arXiv preprint arXiv:2203.08788},
  year   = {2022}
}

备注

To appear in ACL 2022 main conference