LLM API 的对数概率跟踪
机器学习
2026-03-02 v2 密码学与安全
摘要
使用 LLM 通过 API 提供者时，用户期望所服务的模型在时间上保持一致，这一属性对于下游应用的可靠性以及研究的可重复性至关重要。现有的审计方法在可用于广泛可用 LLM API 的定期时间间隔内应用时代价过高。这意味着在实践中，模型更新基本没有被监控。在本工作中，我们表明尽管 LLM 对数概率（logprobs）通常是非确定性的，但仍可作为基于成本效益的持续监控 LLM API 的基础。我们应用基于每个 token 对数概率平均值的简单统计检验，只请求一个 token 的输出。即使只需一个 token，就足以检测到微调一步的变化，使该方法比现有方法更敏感，同时成本降低了 1000 倍。我们引入 TinyChange 某基准作为衡量 audit 方法在小规模真实模型变更背景下灵敏度的手段。
关键词
引用
@article{arxiv.2512.03816,
title = {Log Probability Tracking of LLM APIs},
author = {Timothée Chauvin and Erwan Le Merrer and François Taïani and Gilles Tredan},
journal= {arXiv preprint arXiv:2512.03816},
year = {2026}
}
备注
ICLR 2026