EVADE：基于大语言模型的错误检测解释生成与验证框架
计算与语言
2026-05-29 v2
摘要
高质量数据集是训练和评估可靠 NLP 模型的关键。在自然语言推理（NLI）等任务中，人类标签变异（HL）会导致同一实例存在多个有效标签，从而难以区分标注错误与合理变异。之前的框架 VARIERR（Weber-Genzel 等，2024）要求多个标注员在第一轮中解释其标签决策，并通过第二轮的有效性判断来识别错误。然而，进行两轮手动标注成本高昂，可能限制合理标签或解释的覆盖范围。本研究提出了新的框架 EVADE，用于生成和验证解释以检测大语言模型（LLM）识别的错误。我们对比了人类和 LLM 检测的错误在分布比较、验证重叠和模型微调影响方面的综合分析。实验结果表明，LLM 验证将生成的解释分布细化得更贴近人类标注，移除由 LLM 检测到的错误后，在微调性能上优于移除由人类标注员识别的错误。这一发现凸显了通过规模化错误检测以减少人力、在标签变异下提升数据集质量的潜力。
引用
@article{arxiv.2511.08949,
title = {EVADE: LLM-Based Explanation Generation and Validation for Error Detection in NLI},
author = {Longfei Zuo and Barbara Plank and Siyao Peng},
journal= {arXiv preprint arXiv:2511.08949},
year = {2026}
}