调和梯度下降用于类不平衡数据流在线学习
机器学习
2025-08-18 v1
摘要
许多真实世界的数据是依次收集的，常常呈现出不平衡的类别分布，导致数据流不平衡。虽然已有方法通过重采样和重新加权等策略探索了不平衡数据流学习中的多种方法，但本工作通过修改训练过程，特别关注梯度下降技术，来解决不平衡问题。我们引入调和梯度下降（HGD）算法，旨在平等化不同类别梯度的范数。通过确保梯度范数平衡，HGD 能缓解少数类的欠拟合，实现平衡的在线学习。值得注意的是，HGD 采用简洁的实现方式，无需数据缓冲、额外参数或先验知识，适用于任何采用梯度下降进行优化的学习模型。基于几个常见且温和的假设，理论分析表明 HGD 达到满意的亚线性后悔界。与常用的在线不平衡学习方法相比较，本文的算法在多种不平衡数据流情景下进行了广泛实验评估，证明了 HGD 在学习不平衡数据流方面的高效与有效。
引用
@article{arxiv.2508.11353,
title = {Harmonized Gradient Descent for Class Imbalanced Data Stream Online Learning},
author = {Han Zhou and Hongpeng Yin and Xuanhong Deng and Yuyu Huang and Hao Ren},
journal= {arXiv preprint arXiv:2508.11353},
year = {2025}
}