CASA:因果驱动的论证充分性评估
计算与语言
2024-04-03 v2
摘要
论证充分性评估任务旨在确定给定论证的前提是否支持其结论。为解决此任务,现有工作通常在人工标注的数据上训练分类器。然而,数据标注工作繁重,且由于主观标准,标注往往不一致。受因果文献中充分性概率 (PS) 定义的启发,我们提出了 CASA,一个零样本因果驱动的论证充分性评估框架。PS 衡量当前提事件和结论事件均不存在时,引入前提事件导致结论事件发生的可能性。为了估计这一概率,我们提出使用大语言模型 (LLMs) 生成与前提和结论不一致的上下文,并通过注入前提事件对其进行修正。在两个逻辑谬误检测数据集上的实验表明,CASA 能准确识别不充分的论证。我们进一步将 CASA 部署于写作辅助应用中,发现 CASA 生成的建议增强了学生所写论证的充分性。代码和数据可在 https://github.com/xxxiaol/CASA 获取。
引用
@article{arxiv.2401.05249,
title = {CASA: Causality-driven Argument Sufficiency Assessment},
author = {Xiao Liu and Yansong Feng and Kai-Wei Chang},
journal= {arXiv preprint arXiv:2401.05249},
year = {2024}
}
备注
Accepted by NAACL 2024 main conference. Project website: https://xxxiaol.github.io/CASA/