基于最优传输的多变量随机支配及其模型基准测试应用
机器学习
2024-06-11 v1 机器学习
统计理论
统计理论
摘要
随机支配是概率论、计量经济学和社会选择论中用于稳健建模代理在随机结果之间的偏好的重要概念。虽然已有许多工作聚焦于单变量情形,但在多变量情境下的研究却寥寥无几。在此情境下,代理必须在不同的数据随机结果之间作出决策。通过利用多变量第一随机支配的耦合表征,我们引入一种统计量,在平滑成本下的最优传输框架下评估多变量近似随机支配。进一步,我们引入该统计量的熵正则化,并建立了中心极限定理(CLT)和自助引导程序的一致性。凭借这一CLT,我们提出了假设检验框架,并使用Sinkhorn算法实现高效计算。我们在比较和基准测试大型语言模型时展示了该方法。我们的多变量随机支配检验允许我们捕捉指标之间的依赖关系,从而在模型的相对性能方面做出明智且统计上显著的决策。
关键词
引用
@article{arxiv.2406.06425,
title = {Multivariate Stochastic Dominance via Optimal Transport and Applications to Models Benchmarking},
author = {Gabriel Rioux and Apoorva Nitsure and Mattia Rigotti and Kristjan Greenewald and Youssef Mroueh},
journal= {arXiv preprint arXiv:2406.06425},
year = {2024}
}
备注
27 pages, 2 figures