逻辑回归的风险与参数收敛

梯度下降应用于逻辑回归任务时，输出的迭代偏向于遵循由数据定义的唯一射线。该射线的方向是数据中极大线性可分子集的最大间隔预测器；梯度下降迭代在方向上以 $\mathcal{O}(\ln\ln t / \ln t)$ 的速率收敛到该射线。该射线通常不穿过原点，其偏移量是剩余数据上风险的有界全局最优值；梯度下降以 $\mathcal{O}((\ln t)^2 / \sqrt{t})$ 的速率恢复该偏移量。