基于凹 - 不精确 - 凸过程的不定核逻辑回归
机器学习
2020-06-01 v2 机器学习
摘要
在核方法中，核通常要求是正定的，这限制了许多不定核的使用。为了考虑那些非正定核，本文旨在为核逻辑回归构建一个不定核学习框架。所提出的不定核逻辑回归（IKLR）模型在再生核 Kre\u{\i}n 空间（RKKS）中进行分析，随后变为非凸问题。利用非正定核的正分解，导出的 IKLR 模型可分解为两个凸函数之差。因此，引入凹 - 凸过程来解决该非凸优化问题。由于凹 - 凸过程必须在每次迭代中求解一个子问题，我们提出了一种带有不精确求解方案的凹 - 不精确 - 凸过程（CCICP）算法以加速求解过程。此外，我们提出了 CCICP 的随机变体以高效获得近端解，其达到了与 CCICP 中不精确求解方案相似的目的。对上述两种凹 - 凸过程变体进行了收敛性分析。通过这样做，我们的方法不仅在确定性设置下有效，在随机设置下也有效。在多个基准数据集上的实验结果表明，所提出的 IKLR 模型的表现优于标准（正定）核逻辑回归和其他具有竞争力的不定学习算法。
引用
@article{arxiv.1707.01826,
title = {Indefinite Kernel Logistic Regression with Concave-inexact-convex Procedure},
author = {Fanghui Liu and Xiaolin Huang and Chen Gong and Jie Yang and Johan A. K. Suykens},
journal= {arXiv preprint arXiv:1707.01826},
year = {2020}
}