TiDAL：利用训练动态进行主动学习
机器学习
2023-10-02 v3
摘要
主动学习（AL）旨在从无标签数据池中选取最有用的数据样本并加以标注，以在有限预算下扩展标注数据集。尤其是，基于不确定性的方法会选择最不确定的样本，已知其能有效提升模型性能。然而，AL 文献常忽视训练动态（TD）——定义为通过随机梯度下降优化期间不断变化的模型行为，尽管其他领域文献已通过经验表明 TD 为衡量样本不确定性提供了重要线索。本文提出一种新颖的 AL 方法，即用于主动学习的训练动态（TiDAL），其利用 TD 来量化无标签数据的不确定性。由于追踪所有大规模无标签数据的 TD 是不切实际的，TiDAL 利用一个额外的预测模块来学习标注数据的 TD。为进一步论证 TiDAL 的设计，我们提供理论与经验证据来说明利用 TD 进行 AL 的效用。实验结果表明，与仅使用模型训练后静态信息估计数据不确定性的前沿 AL 方法相比，我们的 TiDAL 在平衡与不平衡基准数据集上均取得了更优或相当的性能。
引用
@article{arxiv.2210.06788,
title = {TiDAL: Learning Training Dynamics for Active Learning},
author = {Seong Min Kye and Kwanghee Choi and Hyeongmin Byun and Buru Chang},
journal= {arXiv preprint arXiv:2210.06788},
year = {2023}
}
备注
ICCV 2023 Camera-Ready