量身定制于尾部：面向细粒度尾部敏感性的风险度量
机器学习
2023-01-24 v2 机器学习
摘要
期望风险最小化（ERM）是许多机器学习系统的核心。这意味着损失分布中固有的风险被概括为一个单一的数值——其平均值。在本文中，我们提出一种通用方法，用于构造具有期望尾部敏感性且可替代 ERM 中期望算子的风险度量。我们的方法依赖于指定一个具有期望尾部行为的参考分布，该分布与一种连贯上概率一一对应。任何与此上概率相容的风险度量都展现出精细调谐至该参考分布的尾部敏感性。作为一个具体例子，我们聚焦于基于 f-散度模糊集的散度风险度量，这是用于增强机器学习系统分布鲁棒性的一种广泛使用的工具。例如，我们展示了基于 Kullback-Leibler 散度的模糊集如何与次指数随机变量类紧密关联。我们阐述了散度风险度量与重排不变 Banach 范数之间的联系。
引用
@article{arxiv.2208.03066,
title = {Tailoring to the Tails: Risk Measures for Fine-Grained Tail Sensitivity},
author = {Christian Fröhlich and Robert C. Williamson},
journal= {arXiv preprint arXiv:2208.03066},
year = {2023}
}
备注
Made multiple minor edits