基于匿名书评信号的多智能体校准大学排名系统——UniRank

我们提出了 UniRank，一个多智能体 LLM 管道，用于仅使用 OpenAlex 和 Semantic Scholar 上公开可得的书评数据估算大学在全球排名系统中的位置。该系统采用三阶段架构：（a）从匿名化的机构指标进行零-shot 估计；（b）针对真实排名大学进行 per-system tool-augmented 校准；（c）最终综合。关键的是，机构被匿名化——其名称、国家、DOI、论文标题和合作国家全部被遮盖，其实际排名在校准工具评估时被隐藏，这防止了 LLM 通过记忆来混淆结果。在对 Times Higher Education（THE）世界大学排名（$n=352$）上的测试中，系统实现了 MAE = 251.5 名次位置、Median AE = 131.5、PNMAE = 12.03%、Spearman $\rho = 0.769$、Kendall $\tau = 0.591$、hit rate @50 = 20.7%、hit rate @100 = 39.8%，以及记忆指数恰好为零（在全部 352 所大学中没有精确匹配的零宽度预测）。系统的系统性正误差（+190.1 个名次位置，表明该系统预测的排名总体上比实际排名差），以及从精英层（MAE = 60.5，hit@100 = 90.5%）到尾部层（MAE = 328.2，hit@100 = 20.8%）的单调性能退化，提供了强有力的证据表明该管道进行的是真正的分析推理，而非回忆记忆的排名。一个在线演示可在 https://unirank.scinito.ai 查看。