通过自监督预训练弥合主动学习中的多样性与不确定性
机器学习
2025-01-20 v2 人工智能
计算机视觉与模式识别
摘要
本研究解决了主动学习中基于多样性和基于不确定性的采样策略的整合问题，特别是在自监督预训练模型的背景下。我们引入了一种称为 TCM 的简单启发式方法，该方法在缓解冷启动问题的同时，在各种数据水平上保持了强劲的性能。通过最初应用 TypiClust 进行多样性采样，随后过渡到使用 Margin 的不确定性采样，我们的方法有效地结合了这两种策略的优势。我们的实验表明，TCM 在低数据和高数据制度下，在各种数据集上均持续优于现有方法。
引用
@article{arxiv.2403.03728,
title = {Bridging Diversity and Uncertainty in Active learning with Self-Supervised Pre-Training},
author = {Paul Doucet and Benjamin Estermann and Till Aczel and Roger Wattenhofer},
journal= {arXiv preprint arXiv:2403.03728},
year = {2025}
}
备注
Accepted at ICLR 2024 Workshop on Practical Machine Learning for Low Resource Settings (PML4LRS)