关住（数据）鸿沟：小数据场景下视觉系统评估
计算机视觉与模式识别
2025-10-15 v2
摘要
针对特定计算机视觉任务的 AI 工具实际应用依赖于数百至数千个标记样本的“小数据场景”。这种小数据场景对于需要昂贵专家标注的应用至关重要，如生态监测、医学诊断或工业质量控制。然而，我们发现计算机视觉研究忽略了小数据场景，评估趋势 increasingly 聚焦于零样本和少样本学习。我们使用 Natural World Tasks (NeWT) 基准，对比了多模态大语言模型 (MLLM) 和视觉专用方法在不同训练集大小下的表现。发现 MLLM 在性能上呈现早期平台期，而视觉专用方法在小数据场景中持续提升，随训练样本数量增加，性能差距进一步扩大。我们提供了在小数据情境下这两种方法的首次全面比较，主张在 AI 研究中采用明确的小数据评估，以更好地将理论进展与实际部署联系起来。
引用
@article{arxiv.2504.06486,
title = {Mind the (Data) Gap: Evaluating Vision Systems in Small Data Applications},
author = {Samuel Stevens and S M Rayeed and Jenna Kline},
journal= {arXiv preprint arXiv:2504.06486},
year = {2025}
}
备注
5 pages (main text), 3 figures. Accepted at the Imageomics Workshop at NeurIPS 2025