JE-IRT：通过联合嵌入项目反应理论透视 LLM 能力的几何视角
人工智能
2025-09-30 v1 计算与语言
摘要
标准的 LLM 评估实践将多样化的能力压缩为单一分数，掩盖了其固有的多维性。我们提出了 JE-IRT，一个几何项目反应框架，它将 LLM 和问题嵌入到一个共享空间中。对于问题嵌入，方向编码语义，范数编码难度，而每个问题的正确性由模型和问题嵌入之间的几何交互决定。这种几何结构用主题专业化取代了 LLM 的全局排名，并使得相关问题的平滑变化成为可能。基于此框架，我们的实验结果表明，分布外行为可以通过方向对齐来解释，并且更大的范数一致地表示更难的问题。此外，JE-IRT 自然地支持泛化：一旦空间被学习，新的 LLM 只需通过拟合一个单一的嵌入即可加入。学习到的空间进一步揭示了一个 LLM 内部的分类法，该分类法仅部分地与人类定义的学科类别对齐。因此，JE-IRT 建立了一个统一且可解释的几何视角，将 LLM 的能力与问题的结构联系起来，为模型评估和泛化提供了一个独特的视角。
引用
@article{arxiv.2509.22888,
title = {JE-IRT: A Geometric Lens on LLM Abilities through Joint Embedding Item Response Theory},
author = {Louie Hong Yao and Nicholas Jarvis and Tiffany Zhan and Saptarshi Ghosh and Linfeng Liu and Tianyu Jiang},
journal= {arXiv preprint arXiv:2509.22888},
year = {2025}
}
备注
22 pages, 10 figures, 5 tables