基于VLMs的深度神经网络优化中高效多样性输入选择方法
计算机视觉与模式识别
2026-01-14 v1 软件工程
摘要
通过微调维持或改进深度神经网络（DNN）性能需要对新收集的输入进行标记，这一过程往往代价高昂且耗时。为缓解此问题，近年来发展出输入选择方法以识别出小而高度信息丰富的子集进行标记。多样性基于选择是最有效的方法之一，但常常计算密集且难以扩展到大型输入集，从而限制了实际应用。为解决此挑战，我们引入概念基于多样性（CBD），这是一种针对图像输入的高效指标，利用视觉语言模型（VLM）。我们的结果表明，CBD与几何多样性（GD）——一种既定的多样性指标——具有强相关性，而计算时间仅为其的一小部分。基于此发现，我们提出一种混合输入选择方法，将CBD与简单的不确定性指标边际（Margin）结合。我们在多样化的DNN模型、输入集、选择预算以及五个最有效的状态-of-the-art选择基准上进行了全面评估。结果表明，CBD基于选择在引导输入选择以改进DNN模型方面始终优于所有基准。此外，CBD基于选择方法仍然高度高效，在像ImageNet这样的大型输入集上，选择时间仅略高于简单的基于不确定性的方法（如Margin），即使在较大的输入集上也能实现。这些结果不仅确认了CBD方法在有效性和计算优势方面的优势，尤其是相对于混合基准，还确认了其在重复和广泛输入选择场景中的可扩展性。
引用
@article{arxiv.2601.08024,
title = {A Highly Efficient Diversity-based Input Selection for DNN Improvement Using VLMs},
author = {Amin Abbasishahkoo and Mahboubeh Dadkhah and Lionel Briand},
journal= {arXiv preprint arXiv:2601.08024},
year = {2026}
}