通过覆盖视角审视主动学习
机器学习
2023-12-29 v3
摘要
深度主动学习旨在降低深度模型训练的标注成本，而深度模型以数据饥渴著称。直至近来，深度主动学习在低预算 regime（仅标注少量样本）下仍收效甚微。近期表征与自监督学习的进展缓解了此状况，其赋予数据表征的几何以关于数据点的丰富信息。利用这一进展，我们通过“覆盖”视角研究用于标注的子集选择问题，提出ProbCover——一种面向低预算 regime 的新主动学习算法，旨在最大化概率覆盖（Probability Coverage）。随后我们描述所提公式的对偶视角，由此可导出适用于主动学习高预算 regime 的策略，与现有如Coreset等方法相关。我们以广泛实验作结，在低预算 regime 下评估ProbCover。我们表明，在若干图像识别基准上，我们这一原则性主动学习策略改进了低预算 regime 的SOTA。该方法在半监督设定下尤为有益，使SOTA半监督方法能以少得多的标签匹配全监督方法的性能。代码见 https://github.com/avihu111/TypiClust。
引用
@article{arxiv.2205.11320,
title = {Active Learning Through a Covering Lens},
author = {Ofer Yehuda and Avihu Dekel and Guy Hacohen and Daphna Weinshall},
journal= {arXiv preprint arXiv:2205.11320},
year = {2023}
}