针对分布不确定性的学习：关于鲁棒性与特异性之间的权衡
机器学习
2025-05-05 v2 机器学习
摘要
可信机器学习旨在应对训练数据分布相对于总体分布的分布不确定性。典型的处理框架包括贝叶斯方法、（极小极大）分布鲁棒优化（DRO）和正则化。然而，有三个问题必须提出：1）贝叶斯方法中的先验分布和正则化方法中的正则化项难以指定；2）DRO 方法往往过于保守；3）所有三种方法都是真实最优代价的偏估计。本文研究了一种统一上述三种方法并解决上述三个挑战的新框架。研究了所提出模型的渐近性质（例如一致性和渐近正态性）、非渐近性质（例如泛化界和无偏性）以及求解方法。新模型揭示了针对未见数据的鲁棒性与针对训练数据的特异性之间的权衡。在各种真实世界任务上的实验验证了所提出学习框架的优越性。
引用
@article{arxiv.2301.13565,
title = {Learning Against Distributional Uncertainty: On the Trade-off Between Robustness and Specificity},
author = {Shixiong Wang and Haowei Wang and Xinke Li and Jean Honorio},
journal= {arXiv preprint arXiv:2301.13565},
year = {2025}
}
备注
Supplementary materials (i.e., the proofs to Theorems 1, 2, 3, and 5) are appended at the end of the main body of the paper