超越对数凹性：和-对数凹优化的理论与算法
最优化与控制
2023-09-28 v1 机器学习
摘要
本文将经典的凸优化理论推广到一类函数的极小化问题，这类函数等于我们所称的和-对数凹函数（即多个对数凹函数之和）的负对数。具体而言，我们证明此类函数一般并非凸函数，但仍满足广义凸性不等式。这些不等式揭示了一个我们称之为交叉梯度（cross-gradient）的向量的关键作用，该向量一般不同于通常的梯度。因此，我们提出交叉梯度下降（Cross Gradient Descent, XGD）算法，沿交叉梯度的反方向更新，并给出了收敛性分析。作为和-对数凹框架的应用，我们引入了所谓的棋盘回归方法，该方法依赖于一个和-对数凹函数。该分类器将（多类）逻辑回归推广到非线性可分问题，因为它能够使用任意给定数量的超平面对特征空间进行镶嵌，从而生成棋盘状的决策区域模式。
引用
@article{arxiv.2309.15298,
title = {Beyond Log-Concavity: Theory and Algorithm for Sum-Log-Concave Optimization},
author = {Mastane Achab},
journal= {arXiv preprint arXiv:2309.15298},
year = {2023}
}