Luna-2：基于小型语言模型的单 token 评估扩展方案
计算与语言
2026-02-24 v1 人工智能
机器学习
摘要
实时警戒要求评估具有准确性、低成本和快速响应——然而今天的默认做法LLM-as-a-judge(LLMAJ)因多 token 生成而缓慢、昂贵且在操作上不可确定。我们提出Luna-2，一种新型架构，利用解码器-only 小型语言模型(SLMs)构建确定性评估模型，可可靠地计算复杂任务特定LLMAJ指标(如有毒性、幻觉、工具选择质量等)，在准确率上与使用前沿LLM的LLMAJ持平或更高，同时大幅降低计算成本和延迟。每个指标作为轻量级LoRA/PEFT头实现，叠加在共享的SLM backbone之上，使数百个专用指标能够在单个GPU上并发运行，可在本地部署在AI系统旁边，实现隐私保护和延迟优化。我们对内容安全和幻觉基准测试表明，Luna-2在准确率上与最先进的LLM-based评估器持平，同时将推理成本降低了80倍以上，将延迟降低了20倍以上。本文我们概述了模型架构、训练方法并报告了在准确率、延迟和吞吐量方面的真实世界实证结果。实际生产中，Luna-2正在保护1000万+ AI会话，按月处理1000亿+ token，为客户节省超过3000万美元的评估成本。
关键词
引用
@article{arxiv.2602.18583,
title = {Luna-2: Scalable Single-Token Evaluation with Small Language Models},
author = {Vatsal Goel and Rishon Dsouza and Nikhil Ega and Amey Ramesh Rambatla and Rob Friel and Shuai Shao and Yash Sheth},
journal= {arXiv preprint arXiv:2602.18583},
year = {2026}
}