通过一阶方法的最大仿射回归
机器学习
2023-08-17 v1 信息论
机器学习
math.IT
统计理论
统计理论
摘要
我们考虑最大仿射模型的回归，该模型通过 max 函数组合仿射模型产生分段线性模型。最大仿射模型普遍出现在信号处理和统计中的应用包括多类分类、拍卖问题和凸回归。它还推广了相位恢复和学习整流线性单元激活函数。我们给出了在子高斯性以及具有加性子高斯噪声的反集中假设下，当模型在随机位置被观测时，梯度下降（GD）和小批量随机梯度下降（SGD）用于最大仿射回归的非渐近收敛分析。在这些假设下，适当初始化的 GD 和 SGD 线性收敛到由相应误差界指定的真值邻域。我们提供了证实理论发现的数值结果。重要的是，在无噪声场景中 SGD 不仅比交替最小化和 GD 运行时间更快且所需观测更少，而且在有噪声的小样本场景中也优于它们。
引用
@article{arxiv.2308.08070,
title = {Max-affine regression via first-order methods},
author = {Seonho Kim and Kiryung Lee},
journal= {arXiv preprint arXiv:2308.08070},
year = {2023}
}