利用预训练视觉语言模型避免开集主动学习中的标注成本浪费
计算机视觉与模式识别
2025-04-15 v2 人工智能
摘要
主动学习（AL）旨在通过选择性收集高信息量数据来提升模型性能，从而最小化标注成本。然而，在实际场景中，未标注数据可能包含分布外（OOD）样本，这些样本不用于训练，若数据被错误选择则会导致标注成本浪费。因此，使主动学习在现实应用中可行，必须同时考虑未标注样本的信息性和纯度，以确定其是否属于分布内（ID）。现有研究在这些假设下进行了主动学习，但由于信息性与纯度之间的权衡以及对 OOD 样本的严重依赖，仍存在挑战。这些问题导致收集了 OOD 样本，造成大量标注成本浪费。为解决这些挑战，我们提出了一种新颖的查询策略 VLPure-AL，在降低成本损失的同时减少对 OOD 样本的依赖。VLPure-AL 依次评估数据的纯度和信息性。首先，它利用预训练视觉语言模型，通过利用 ID 数据的语言和视觉信息来高精度地检测和排除 OOD 数据。其次，它从剩余的 ID 数据中选择高信息量数据，然后由人工专家对所选样本进行标注。在各种开集条件下的数据集上的实验结果表明，VLPure-AL 在所有场景下均实现了最低的成本损失和最高的性能。代码可在 https://github.com/DSBA-Lab/OpenAL 获取。
引用
@article{arxiv.2408.04917,
title = {Avoid Wasted Annotation Costs in Open-set Active Learning with Pre-trained Vision-Language Model},
author = {Jaehyuk Heo and Pilsung Kang},
journal= {arXiv preprint arXiv:2408.04917},
year = {2025}
}