Granuscore：一种无参考的文本粒度度量
计算与语言
2026-05-27 v1 人机交互
摘要
自然语言以不同层次的粒度传递信息，从细粒度的参考到宽泛的描述。尽管粒度是人类交流的基本要素，但现有度量大多捕获表面细节或句子特异性。我们提出 Granuscore，一种无参考的粒度度量，利用分层嵌入空间的结构属性。Granuscore 可靠地在 Granola-EQ 数据集上恢复分层排序，并捕捉粒度在语境中的预期差异。在多个领域，我们进一步展示 Granuscore 解释了句子特异性在句子长度之外的非线性变化。最后，我们将 Granuscore 应用于四个问答基准，分析粒度在问题、金标准答案和模型输出中的差异，以及这些差异如何随响应结果而变化。分析结果揭示了模型行为的一致差异，并为表征 QA 数据集的难度提供了原则性视角。综上所述，结果将 Granuscore 定位为一种可扩展、广泛适用的分析文本粒度工具。
引用
@article{arxiv.2605.26620,
title = {Granuscore: A Reference-Free Measure of Granularity for Text Analysis and Question Answering},
author = {Lukas Ellinger and Alexander Fichtl and Miriam Anschütz and Georg Groh},
journal= {arXiv preprint arXiv:2605.26620},
year = {2026}
}