面向基础模型的参数高效主动学习
计算机视觉与模式识别
2024-06-17 v2 人工智能
摘要
基础视觉Transformer模型在许多视觉任务上展现了令人印象深刻的少样本性能。本研究首次系统性地探讨了在主动学习(AL)框架内应用参数高效微调方法,以推进在预算极度受限的分类任务中的样本选择过程。对以分布外特征著称的图像数据集的关注,为我们的研究增添了复杂性和相关性。通过详细评估,我们展示了在这些具有挑战性的数据集上改进的AL性能,凸显了将参数高效微调方法与基础模型相结合的战略优势。这为优化AL策略的更广泛讨论做出了贡献,为未来探索利用基础模型在专业领域进行高效且有效的数据标注开辟了有前景的途径。
引用
@article{arxiv.2406.09296,
title = {Parameter-Efficient Active Learning for Foundational models},
author = {Athmanarayanan Lakshmi Narayanan and Ranganath Krishnan and Amrutha Machireddy and Mahesh Subedar},
journal= {arXiv preprint arXiv:2406.09296},
year = {2024}
}
备注
Accepted for CVPR2024 Transformers for Vision Workshop