通过改善测试性能提升主动学习
机器学习
2022-01-25 v2
摘要
主动学习（AL）的核心在于应选择哪些数据进行标注。现有工作试图选择高度不确定或信息丰富的数据进行标注。然而，所选数据如何影响 AL 中使用的任务模型的测试性能仍不清楚。在这项工作中，我们通过理论证明探究了这一影响：选择梯度范数更高的未标注数据会导致测试损失的上界更低，从而获得更好的测试性能。然而，由于缺乏标签信息，直接计算未标注数据的梯度范数是不可行的。为应对这一挑战，我们提出了两种方案，即 expected-gradnorm 和 entropy-gradnorm。前者通过构造期望经验损失来计算梯度范数，后者则构造基于熵的无监督损失。此外，我们将这两种方案集成到一个通用的 AL 框架中。我们在经典的图像分类和语义分割任务上评估了我们的方法。为证明其在领域应用中的能力和对噪声的鲁棒性，我们还在细胞成像分析任务（即冷冻电子断层扫描子断层图像分类）上验证了该方法。结果表明，我们的方法优于当前最优（SOTA）方法。我们的源代码可在 https://github.com/xulabs/aitom/blob/master/doc/projects/al_gradnorm.md 获取。
引用
@article{arxiv.2112.05683,
title = {Boosting Active Learning via Improving Test Performance},
author = {Tianyang Wang and Xingjian Li and Pengkun Yang and Guosheng Hu and Xiangrui Zeng and Siyu Huang and Cheng-Zhong Xu and Min Xu},
journal= {arXiv preprint arXiv:2112.05683},
year = {2022}
}
备注
13 pages