ST-CoNAL：基于时间自集成一致性的主动学习采集准则
计算机视觉与模式识别
2022-10-18 v2 机器学习
摘要
现代深度学习已在多个领域取得巨大成功。然而，它需要标注海量数据，这既昂贵又费力。主动学习（AL）通过识别信息量最大的样本进行标注，对于最大化训练过程的效率正变得愈发重要。现有 AL 方法大多仅使用单个最终固定模型来采集待标注样本。该策略可能不够好，因为其未考虑给定训练数据下模型的结构不确定性来采集样本。在本研究中，我们提出一种基于常规随机梯度下降（SGD）优化所生成的时间自集成的新型采集准则。这些自集成模型通过捕获 SGD 迭代中获得的中间网络权重得到。我们的采集函数依赖于学生模型与教师模型之间的一致性度量。学生模型给定固定数量的时间自集成模型，教师模型通过对学生模型权重取平均构建。利用所提采集准则，我们给出一种 AL 算法，即基于学生-教师一致性的 AL（ST-CoNAL）。在 CIFAR-10、CIFAR-100、Caltech-256 和 Tiny ImageNet 数据集上进行的图像分类任务实验表明，所提 ST-CoNAL 取得了显著优于现有采集方法的性能。此外，大量实验展示了我们方法的鲁棒性与有效性。
引用
@article{arxiv.2207.02182,
title = {ST-CoNAL: Consistency-Based Acquisition Criterion Using Temporal Self-Ensemble for Active Learning},
author = {Jae Soon Baik and In Young Yoon and Jun Won Choi},
journal= {arXiv preprint arXiv:2207.02182},
year = {2022}
}