迈向认知扭曲的一致检测：基于LLM的标注与数据集无关的评估
计算与语言
2026-05-21 v2
摘要
基于文本的自动化认知扭曲检测是一项具有挑战性的任务,因其主观性强,即使在专家人工标注者之间也观察到较低的一致性分数,导致标注不可靠。我们探索使用大型语言模型(LLM)作为一致且可靠的标注者,并提出多次独立的LLM运行可以揭示稳定的标注模式,尽管任务本身具有主观性。此外,为了公平比较在不同特征数据集上训练的模型,我们引入了一个使用Cohen's kappa作为效应量度量的数据集无关评估框架。该方法允许在传统指标(如F1分数)不足的情况下进行公平的跨数据集和跨研究比较。我们的结果表明,GPT-4可以产生一致的标注(Fleiss's Kappa = 0.78),与基于人工标注数据训练的模型相比,基于这些标注训练的模型在测试集上的性能有所提升。我们的发现表明,LLM可以为生成训练数据提供一种可扩展且内部一致的替代方案,从而支持在主观NLP任务中获得良好的下游性能。
引用
@article{arxiv.2511.01482,
title = {Towards Consistent Detection of Cognitive Distortions: LLM-Based Annotation and Dataset-Agnostic Evaluation},
author = {Neha Sharma and Navneet Agarwal and Kairit Sirts},
journal= {arXiv preprint arXiv:2511.01482},
year = {2026}
}