一种降低标注复杂度的神经预条件主动学习算法
机器学习
2023-02-16 v2 人工智能
摘要
深度学习（DL）算法依赖海量标注数据。半监督学习（SSL）和主动学习（AL）分别通过利用未标注数据或谨慎获取标注来降低这种标注复杂度。本工作主要关注设计一种 AL 算法，但首先主张改变 AL 算法的评估方式。尽管在基于池的 AL 中未标注数据易于获取，AL 算法通常通过测量连续获取步骤中监督学习（SL）性能的提升来评估。由于这同时度量了来自新获取样本和新获取标注的性能增益，我们提出改为通过测量连续获取步骤中 SSL 性能的提升来评估 AL 算法的标注效率。在调研可用于此目的的工具后，我们受神经正切核（NTK）分析启发提出了神经预条件（NPC）算法。我们的算法结合分类器在未标注数据上的不确定性，并惩罚候选批次中的冗余样本，从而高效获取一组多样化且信息丰富的标注。此外，我们证明 NPC 在大宽度情形下改善了下游训练，其方式此前被观察到与泛化相关。与其他 AL 算法的比较表明，最先进的 SSL 算法结合 NPC 可使用极少标注数据达到高性能。
引用
@article{arxiv.2104.03525,
title = {A Neural Pre-Conditioning Active Learning Algorithm to Reduce Label Complexity},
author = {Seo Taek Kong and Soomin Jeon and Dongbin Na and Jaewon Lee and Hong-Seok Lee and Kyu-Hwan Jung},
journal= {arXiv preprint arXiv:2104.03525},
year = {2023}
}
备注
NeurIPS 2022