从内部表征到文本质量：LLM 评估的几何方法
计算与语言
2025-10-01 v1 人工智能
摘要
本文通过表明大语言模型（LLM）内部表示的几何属性可作为评估生成文本质量的可靠代理，来桥接内部和外部分析方法。我们验证了包括最大可解释方差、有效秩、内在维度、MAUVE 分数和谱范数等指标，这些指标在 LLM 的不同层之间测量，证明了内在维度和有效秩可作为文本自然性和质量的通用评估。我们的关键发现表明，不同模型基于这些几何属性对来自不同来源的文本进行相同排序，表明这些指标反映的是文本固有的特征而非模型特定的伪影。这使得无需人工标注数据集即可进行无参考文本质量评估，为自动化评估管道提供了实际优势。
引用
@article{arxiv.2509.25359,
title = {From Internal Representations to Text Quality: A Geometric Approach to LLM Evaluation},
author = {Viacheslav Yusupov and Danil Maksimov and Ameliia Alaeva and Anna Vasileva and Anna Antipina and Tatyana Zaitseva and Alina Ermilova and Evgeny Burnaev and Egor Shvetsov},
journal= {arXiv preprint arXiv:2509.25359},
year = {2025}
}