$T^5Score$：用于自动评估 LLM 生成的多文档主题集合质量的方法
计算与语言
2025-05-30 v3
摘要
近期流行使用 LLMs 进行多文档主题提取，由于其看似的高质量输出、表达性强和使用便捷性。然而，大多数现有评估实践不为 LLM 生成的主题所设计，导致较低的注释者间一致性得分，阻碍了可靠地将 LLMs 用于该任务。为此，我们引入 ，一种将主题集合质量分解为可量化方面的评估方法，这些方面可通过易于执行的注释任务进行衡量。这种框架使评估过程变得便捷，可进行手动或自动评估，结果为强大的注释者间一致性得分。为了 substantiate our methodology and claims，我们在多个数据集上进行大规模实验并报告结果。
引用
@article{arxiv.2407.17390,
title = {$T^5Score$: A Methodology for Automatically Assessing the Quality of LLM Generated Multi-Document Topic Sets},
author = {Itamar Trainin and Omri Abend},
journal= {arXiv preprint arXiv:2407.17390},
year = {2025}
}
备注
Published in the Findings of ACL 2025