发现高影响力的捷径推理:一种无模板自动化方法
计算与语言
2023-12-18 v1
摘要
捷径推理是一种不合理的推断过程,会降低 NLP 模型的鲁棒性。尽管已有许多先前工作致力于识别捷径推理,但仍存在两个主要局限性:(i) 未提供量化所发现的捷径推理严重程度的方法;(ii) 可能遗漏某些类型的捷径推理。为解决这些问题,我们提出一种识别捷径推理的新方法。所提方法利用分布外数据量化捷径推理的严重程度,且不对触发捷径推理的 token 类型做任何假设。我们在自然语言推理和情感分析上的实验表明,我们的框架成功发现了先前工作中已知和未知的捷径推理。
引用
@article{arxiv.2312.09718,
title = {Discovering Highly Influential Shortcut Reasoning: An Automated Template-Free Approach},
author = {Daichi Haraguchi and Kiyoaki Shirai and Naoya Inoue and Natthawut Kertkeidkachorn},
journal= {arXiv preprint arXiv:2312.09718},
year = {2023}
}