DecMetrics：面向事实一致 LLM 输出的结构化声明分解评分
计算与语言
2025-09-08 v1 人工智能
摘要
声明分解在事实核查过程中起着至关重要的作用，它将复杂的声明分解为更简单的原子组件，并识别其中不真实的元素。尽管其十分重要，但当前的研究主要集中在用于分解的生成方法上，对评估这些分解后的原子声明质量的重视不足。为了弥补这一差距，我们引入了 \textbf{DecMetrics}，它包含三个新指标：\texttt{COMPLETENESS}、\texttt{CORRECTNESS} 和 \texttt{SEMANTIC ENTROPY}，旨在自动评估分解模型生成的声明质量。利用这些指标，我们开发了一个轻量级的声明分解模型，通过将这些指标作为奖励函数进行整合来优化其性能。通过自动评估，我们的方法旨在为声明分解设定基准，提高事实核查系统的可靠性和有效性。
引用
@article{arxiv.2509.04483,
title = {DecMetrics: Structured Claim Decomposition Scoring for Factually Consistent LLM Outputs},
author = {Minghui Huang},
journal= {arXiv preprint arXiv:2509.04483},
year = {2025}
}