基于无梯度割平面的深度神经网络主动学习
机器学习
2025-06-26 v5 最优化与控制
摘要
主动学习方法旨在改进机器学习中的样本复杂度。本文探讨了一种通过 novel 无梯度割平面训练方法的主动学习方案，适用于任意深度的 ReLU 网络，并发展了收敛理论。我们首次证明，尽管割平面算法传统上用于线性模型，却可扩展到深层神经网络，尽管其非凸性和非线性决策边界。此外，该训练方法诱导了首个能够实现收敛保证的深层主动学习方案，揭示了可行集的几何收缩速率。我们通过实验验证了所提出的主动学习方法在多个流行的深度主动学习基准中的有效性，包括合成数据实验和真实数据集上的情感分类任务。
引用
@article{arxiv.2410.02145,
title = {Active Learning of Deep Neural Networks via Gradient-Free Cutting Planes},
author = {Erica Zhang and Fangzhao Zhang and Mert Pilanci},
journal= {arXiv preprint arXiv:2410.02145},
year = {2025}
}