通过推理长度估计对 LLM API 中的隐藏标记进行预测审计
机器学习
2025-08-05 v1 人工智能
密码学与安全
摘要
商业 LLM 服务常会隐藏内部推理痕迹，却仍按生成的每个标记（包括来自隐藏中间步骤的标记）向用户收费，这引发了标记膨胀和潜在过度计费的担忧。此差距凸显了对可靠标记审计的紧迫需求，而实现它则远非易事：加密验证（如基于散列的签名）在供应商控制整个执行管道的情况下几乎毫无保障，而用户侧预测则难以应对推理 LLM 的内在波动问题，即标记用量在不同领域和提示样式之间波动。为弥合这一差距，我们提出 PALACE（Predictive Auditing of LLM APIs via Reasoning Token Count Estimation），即用户侧框架，从提示-答案对中估计隐藏推理标记计数，而无需访问内部痕迹。PALACE 引入 GRPO 增强适应模块，配备轻量级领域路由器，实现跨多样推理任务的动态校准，并缓解标记用量模式的波动。在数学、编码、医疗和一般推理基准测试中进行实验，PALACE 实现低相对误差和强预测准确率，支持精细的成本审计和膨胀检测。综上所述，PALACE 是推动标准化预测审计的重要第一步，为提升透明度、问责制和用户信任提供了实用路径。
引用
@article{arxiv.2508.00912,
title = {Predictive Auditing of Hidden Tokens in LLM APIs via Reasoning Length Estimation},
author = {Ziyao Wang and Guoheng Sun and Yexiao He and Zheyu Shen and Bowei Tian and Ang Li},
journal= {arXiv preprint arXiv:2508.00912},
year = {2025}
}