基于相关熵的鲁棒回归通过自动相关性确定的自适应稀疏性
机器学习
2023-11-22 v1 机器学习
摘要
稀疏性和鲁棒性是许多机器学习场景的两个重要性质。在本研究中，针对基于最大相关熵准则（MCC）的鲁棒回归算法，我们探讨在贝叶斯框架下将 MCC 方法与自动相关性确定（ARD）技术相融合，从而使基于 MCC 的鲁棒回归能够以自适应稀疏方式实现。具体而言，我们利用 MCC 固有的噪声假设推导出显式似然函数，并通过变分贝叶斯推断以 ARD 先验实现最大后验（MAP）估计。与现有的鲁棒稀疏 L1 正则化 MCC 回归相比，所提出的 MCC-ARD 回归可消除对控制正则化强度的正则化超参数的繁琐调参。此外，如一项含噪高维仿真研究所示，MCC-ARD 在预测性能和特征选择能力上均优于 L1 正则化 MCC。
引用
@article{arxiv.2302.00082,
title = {Adaptive sparseness for correntropy-based robust regression via automatic relevance determination},
author = {Yuanhao Li and Badong Chen and Okito Yamashita and Natsue Yoshimura and Yasuharu Koike},
journal= {arXiv preprint arXiv:2302.00082},
year = {2023}
}