基于凸性的深度神经网络两种相训练算法

机器学习的核心任务是最小化衡量模型与训练数据拟合程度的损失函数。高效实现此目标的数值方法依赖于损失函数的性质，其中最决定性的是损失函数的凸性或非凸性。由于损失函数常常具有非凸区域，导致广泛采用像 Adam 等非凸方法。然而，局部极小值意味着在其某种环境中函数为凸。在此环境中，二阶最小化方法如共轭梯度 (CG) 能保证超线性收敛。我们提出一种新框架，基于假设即实际任务中的损失函数从初始非凸性转向凸性趋于最优点的这一性质。我们利用这一特性设计了创新的两种相优化算法。该算法通过观察梯度范数随损失变化来检测转换点。在非凸区域使用非凸 (Adam) 方法，在凸区域使用凸 (CG) 方法。计算实验确认了这种简单的凸性结构足够频繁，以实际应用中显著提升收敛速度和精度。