关于基于损失与不确定性的主动学习算法的收敛性
机器学习
2024-11-26 v4 人工智能
摘要
我们研究了使用随机梯度下降(SGD)算法训练机器学习模型时的收敛速率和所需数据样本量，其中数据点的采样基于其损失值或不确定性值。这些训练方法与主动学习和数据子集选择问题尤为相关。对于具有常数步长更新的 SGD，我们给出了使用平方铰链损失及类似训练损失函数的线性分类器和线性可分数据集的收敛结果。此外，我们将分析扩展到更一般的分类器和数据集，考虑了广泛的基于损失的采样策略和光滑凸训练损失函数。我们提出了一种名为自适应权重采样(Adaptive-Weight Sampling, AWS) 的新算法，该算法利用带有自适应步长的 SGD，在期望意义上实现了随机 Polyak 步长。我们建立了 AWS 在光滑凸训练损失函数下的收敛速率结果。我们的数值实验通过使用精确或估计的损失值，证明了 AWS 在各种数据集上的有效性。
引用
@article{arxiv.2312.13927,
title = {On the Convergence of Loss and Uncertainty-based Active Learning Algorithms},
author = {Daniel Haimovich and Dima Karamshuk and Fridolin Linder and Niek Tax and Milan Vojnovic},
journal= {arXiv preprint arXiv:2312.13927},
year = {2024}
}