BoRP：用于可扩展且人类对齐的 LLM 评估的自举回归探针
计算与语言
2026-01-27 v1 人工智能
摘要
准确评估用户满意度对于对话式 AI 的迭代开发至关重要。然而，对于开放式助手，传统的 A/B 测试缺乏可靠的指标：显式反馈稀疏，而隐式指标模糊。为了弥合这一差距，我们引入了 BoRP（自举回归探针），一个用于高保真满意度评估的可扩展框架。与生成式方法不同，BoRP 利用 LLM 潜在空间的几何性质。它采用基于极化指数的自举机制来自动化评分准则的生成，并利用偏最小二乘（PLS）将隐藏状态映射到连续分数。在工业数据集上的实验表明，BoRP（Qwen3-8B/14B）在与人类判断的对齐方面显著优于生成式基线（甚至 Qwen3-Max）。此外，BoRP 将推理成本降低了数个数量级，通过 CUPED 实现了全规模监测和高敏感度 A/B 测试。
引用
@article{arxiv.2601.18253,
title = {BoRP: Bootstrapped Regression Probing for Scalable and Human-Aligned LLM Evaluation},
author = {Peng Sun and Xiangyu Zhang and Duan Wu},
journal= {arXiv preprint arXiv:2601.18253},
year = {2026}
}
备注
This is a pre-print