模型等同性测试：此 API 正在服务哪个模型？
机器学习
2025-04-10 v2
摘要
用户通常通过黑盒推理 API 与大语言模型交互，包括闭源权重和开源权重模型（例如，Llama 模型通常通过 Amazon Bedrock 和 Azure AI Studio 访问）。为了降低成本或增加功能，API 提供商可能会对底层模型进行量化、添加水印或微调，从而改变输出分布——且可能不通知用户。我们将检测此类失真形式化为模型等同性测试，这是一个双样本测试问题，用户从 API 和参考分布收集样本，并进行统计检验以查看这两个分布是否相同。我们发现基于分布间最大均值差异的检验在此任务中非常有效：基于简单字符串核构建的检验在一系列失真情况下实现了 77.4% 的中位功效，且每个提示平均仅使用 10 个样本。然后，我们将此检验应用于 2024 年夏季四个 Llama 模型的商业推理 API，发现 31 个端点中有 11 个提供的服务分布与 Meta 发布的参考权重不同。
引用
@article{arxiv.2410.20247,
title = {Model Equality Testing: Which Model Is This API Serving?},
author = {Irena Gao and Percy Liang and Carlos Guestrin},
journal= {arXiv preprint arXiv:2410.20247},
year = {2025}
}
备注
ICLR 2025 Camera-Ready