测试 LLM 响应差异：由语义无关查询扰动构成的复合原假设检验
统计理论
2025-09-16 v1 人工智能
统计方法学
统计理论
摘要
给定输入查询，生成式模型如大语言模型会产生一个随机响应，来源于响应分布。给定两个输入查询，有必要询问它们的响应分布是否相同。虽然传统统计假设检验旨在回答此问题，但输入查询诱导的响应分布常常对查询的语义无关扰动敏感，以至于传统的等值性检验可能指示两个在语义上等价的查询诱导统计上不同的响应分布。因此，统计检验的结果可能不符合用户的需求。在本文中，我们通过纳入对一组语义相似查询的考虑来解决这种偏差。在我们设定下，从用户定义的语义相似查询集合到相应响应分布集合之间的映射事先并非已知，需要在固定预算下进行估计。虽然我们所解决的问题相当普遍，但我们专注于响应为二元的情形，证明提议检验在渐近上有效且一致，并讨论关于检验功效和计算的重要实践考虑因素。
引用
@article{arxiv.2509.10963,
title = {Testing for LLM response differences: the case of a composite null consisting of semantically irrelevant query perturbations},
author = {Aranyak Acharyya and Carey E. Priebe and Hayden S. Helm},
journal= {arXiv preprint arXiv:2509.10963},
year = {2025}
}