一种针对 Bregman 散度聚焦于最不利先验的降维方法
机器学习
2022-02-24 v1 机器学习
统计理论
统计方法学
统计理论
摘要
在点估计中刻画极小极大估计量的一种常见方法是将问题转移到贝叶斯估计领域并寻找最不利先验分布。在温和条件下，由最不利先验诱导出的贝叶斯估计量已知是极小极大的。然而，由于本质上是在无限维的概率分布空间上进行优化，寻找最不利分布可能颇具挑战。本文提出了一种降维方法，使我们能够将优化转移到有限维设定中，并给出维度的显式界。这种降维的好处在于它允许使用投影梯度上升等流行算法来寻找最不利先验。为在问题上取得进展，我们在全文始终将自己限制在由一类相对较大的损失函数（即 Bregman 散度）所诱导的贝叶斯风险上。
引用
@article{arxiv.2202.11598,
title = {A Dimensionality Reduction Method for Finding Least Favorable Priors with a Focus on Bregman Divergence},
author = {Alex Dytso and Mario Goldenbaum and H. Vincent Poor and Shlomo Shamai},
journal= {arXiv preprint arXiv:2202.11598},
year = {2022}
}
备注
To appear in the proceedings of 25th International Conference on Artificial Intelligence and Statistics (AISTATS) 2022