整合错误归因于大语言模型答案评估框架中的诊断
计算与语言
2025-07-14 v1
摘要
随着大型语言模型（LLM）在各类任务中的广泛应用，主流 LLM 平台每日生成海量用户-模型交互。为了高效分析模型性能并诊断其答案中的错误，必要开发自动化框架以系统性地对错误进行分类和归因。然而，现有评估模型缺乏错误归因能力。本文构建了包含 6 项主要类别和 15 项次要类别的全面误归因框架，以便深入分析。基于此框架，我们提出 AttriData，一个专为错误归因设计的数据集，包含误归因内容及相应的评分与反馈。我们还提出 MisAttributionLLM，对 AttriData 进行微调，成为首个能够同时生成评分、误归因和反馈的通用判题模型。开展大量实验与分析，确认我们的方法的有效性与鲁棒性。
引用
@article{arxiv.2507.08459,
title = {Diagnosing Failures in Large Language Models' Answers: Integrating Error Attribution into Evaluation Framework},
author = {Zishan Xu and Shuyi Xie and Qingsong Lv and Shupei Xiao and Linlin Song and Sui Wenjuan and Fan Lin},
journal= {arXiv preprint arXiv:2507.08459},
year = {2025}
}