面向摘要的自动长度感知质量指标
计算与语言
2025-07-11 v1
摘要
本文提出了 NOrmed Index of Retention (NOIR)，这是一种用于评估任意文本摘要质量的量化客观指标，其基于语义含义保留和摘要长度压缩。它衡量召回-压缩权衡得如何，总结学中最重要的技能。实验表明，NOIR 有效地捕捉了标记长度与语义保留权衡，并与人类对摘要质量的感知相吻合。使用语言模型嵌入来衡量语义相似性，它为评估摘要质量提供了一种无需依赖耗时的基于人类生成参考摘要的自动化方法。该提出的指标可应用于各种摘要任务，为评估和改进摘要算法、摘要提示和合成生成摘要提供了自动化工具。
引用
@article{arxiv.2507.07653,
title = {An Automated Length-Aware Quality Metric for Summarization},
author = {Andrew D. Foland},
journal= {arXiv preprint arXiv:2507.07653},
year = {2025}
}