关于经验风险最小化中相对熵不对称性
机器学习
2025-05-01 v3 信息论
机器学习
math.IT
摘要
本文分析了相对熵不对称性在经验风险最小化（ERM）中引入相对熵正则化（ERM-RER）的影响。考虑两种正则化： 相对于参考测度的待优化测度的相对熵（Type-I ERM-RER）； 相对于待优化测度的参考测度的相对熵（Type-II ERM-RER）。本文的主要结果是对 Type-II ERM-RER 问题解的特征化及其关键性质。通过将已知的 Type-I ERM-RER 与 Type-II ERM-RER 进行比较，揭示了熵不对称性的影响。分析表明，在两种情况下，相对熵正则化都会导致解的支持域坍缩到参考测度的支持域中，引入强先验偏置，抵消了训练数据提供的证据。最后，证明 Type-II 正则化等价于以合适的经验风险函数变换后的 Type-I 正则化。
引用
@article{arxiv.2410.02833,
title = {Asymmetry of the Relative Entropy in the Regularization of Empirical Risk Minimization},
author = {Francisco Daunas and Iñaki Esnaola and Samir M. Perlaza and H. Vincent Poor},
journal= {arXiv preprint arXiv:2410.02833},
year = {2025}
}