中文

温带分数梯度下降的理论框架:用于乳腺癌分类

机器学习 2025-04-29 v1 图像与视频处理

摘要

本文引入温带分数梯度下降(Tempered Fractional Gradient Descent, TFGD),这是一种新型优化框架,将分数微积分与指数温和技术结合以增强梯度-based 学习。传统梯度下降方法常因梯度更新振荡和在高维噪声景观中的收敛缓慢而受限。TFGD 通过引入温带记忆机制解决了这些限制,其中历史梯度由分数系数 wj=(αj)|w_j| = \binom{\alpha}{j} 加权,并通过温和参数 λ\lambda 实现指数衰减。理论分析表明,TFGD 在凸函数场景下以 O(1/K)\mathcal{O}(1/K) 收敛率,收敛系数为 dα,λ=(1eλ)αd_{\alpha,\lambda} = (1 - e^{-\lambda})^{-\alpha};而随机变体实现 O(1/kα)\mathcal{O}(1/k^\alpha) 的误差衰减。该算法保持与 SGD 相同的 O(n)\mathcal{O}(n) 时间复杂度,记忆开销随参数维度 dd 而比例为 O(d/λ)\mathcal{O}(d/\lambda)。在乳腺癌威斯康斯数据集上的经验验证显示,TFGD 的性能优于 SGD,测试准确率达 98.25%(相较于 SGD 的 92.11%),收敛速度提升约 2 倍。温带记忆机制在医学分类任务中尤为有效,因其能有效利用特征相关性实现稳定的梯度平均。这些结果将 TFGD 定位为梯度优化器的稳健替代方案,适用于理论与实际机器学习应用。

关键词

引用

@article{arxiv.2504.18849,
  title  = {Theoretical Framework for Tempered Fractional Gradient Descent: Application to Breast Cancer Classification},
  author = {Omar Naifar},
  journal= {arXiv preprint arXiv:2504.18849},
  year   = {2025}
}