经验风险最小化正则化中相对熵不对称性的分析
信息论
2023-06-13 v1 math.IT
机器学习
摘要
本文分析了在带相对熵正则化的经验风险最小化（ERM-RER）问题中相对熵不对称性的影响。引入了一种新的正则化，称为 II 型正则化，其允许 ERM-RER 问题的解具有超出参考测度支撑集的支撑。新 ERM-RER II 型问题的解就参考测度相对于解的 Radon-Nikodym 导数给出了解析刻画。对该解的分析揭示了相对熵在 ERM-RER 问题中作为正则化时的如下性质：i) 相对熵迫使 II 型解的支撑坍缩进参考测度的支撑，这引入了主导训练数据所提供证据的强归纳偏置；ii) II 型正则化等价于带有经验风险函数适当变换的经典相对熵正则化。给出了期望经验风险关于正则化参数的闭式表达式。
引用
@article{arxiv.2306.07123,
title = {Analysis of the Relative Entropy Asymmetry in the Regularization of Empirical Risk Minimization},
author = {Francisco Daunas and Iñaki Esnaola and Samir M. Perlaza and H. Vincent Poor},
journal= {arXiv preprint arXiv:2306.07123},
year = {2023}
}
备注
To appear in the proceedings of the International Symposium on Information Theory 2023