基于分位数曲线的无模型仿真器保真度评估

随着生成式AI模型日益用于模拟真实世界系统，量化“仿真-现实”差距至关重要。对于每个感兴趣的输入设置——我们称为一个情景，如调查问题或运行条件——与之相关的真实系统和模拟系统对应于未观测的潜在 population 参数，其差异在情景之间会有所不同。一个根本性挑战是：对于给定的情景，无法直接观测这种差异，因为两套系统仅通过有限样本（通常跨情景样本大小不均）才能访问。因此，标准的预测推断方法不适用，因为它们衡量的是可观测输出的不确定性而非潜在 population 参数。为此，我们为这些潜在参数构建置信区间，并据此推导仿真器与真实系统之间 sim-to-real 差距的稳健代理。随后，我们估计该代理的分位数函数，以获得仿真器的分布层风险概览，这支持广泛的统计汇总，包括对新情景下真实输出分布的统计推断、条件价值-at-risk（CVaR）的计算，以及对仿真器的原则性比较。我们的方法是无模型的，能够处理一般的输出空间，如分类调查响应和连续多维数据。我们通过在WorldValueBench数据集上评估四个主要大语言模型（LLM）与人类群体的对齐程度，展示了该方法的实际实用性。