STAR：桥接统计推理与智能体推理以提升大模型性能预测
人工智能
2026-02-13 v1 机器学习
摘要
随着综合性大模型评估成本的提高，对有限观察数据进行模型性能预测变得至关重要。然而，现有统计方法在模式迁移、数据稀疏和缺乏解释方面受限，而纯粹的LLM方法则不可靠。我们提出STAR框架，桥接数据驱动统计期望与知识驱动的智能体推理。STAR利用专用检索器收集外部知识，并将语义特征嵌入受约束概率矩阵分解（CPMF），生成带不确定性的统计期望。随后，基于期望违反理论（EVT）指导的推理模块，通过 intra-family 分析、跨模型比较和信誉感知聚合，对预测进行细化，生成可追溯解释的调整。广泛实验表明，STAR在基于分数的指标和基于排名的指标上均显著优于所有基线方法，在极端稀疏情境下（仅1-2个观测分数/测试模型），相对于最强统计方法可实现14.46%的总体得分提升。
引用
@article{arxiv.2602.12143,
title = {STAR : Bridging Statistical and Agentic Reasoning for Large Model Performance Prediction},
author = {Xiaoxiao Wang and Chunxiao Li and Junying Wang and Yijin Guo and Zijian Chen and Chunyi Li and Xiaohong Liu and Zicheng Zhang and Guangtao Zhai},
journal= {arXiv preprint arXiv:2602.12143},
year = {2026}
}
备注
10 pages, 8 figures, 17 tables. Code available at https://github.com/xiaoxiaostudy/star