计算机视觉模型的自适应测试
计算机视觉与模式识别
2023-08-21 v2
摘要
视觉模型常系统性地失败于共享共同语义特征的数据组（如稀有物体或不寻常场景），但识别这些失败模式是一项挑战。我们引入 AdaVision，一种用于测试视觉模型的交互式流程，帮助用户识别并修复连贯的失败模式。给定对某一连贯组的自然语言描述，AdaVision 利用 CLIP 从 LAION-5B 中检索相关图像。用户随后对少量数据标注模型正确性，用于后续检索轮次中以爬山方式逼近高错误区域，精炼组定义。一旦某组饱和，AdaVision 使用 GPT-3 建议新的组描述供用户探索。我们在用户研究中展示了 AdaVision 的实用性与通用性，用户发现了最先进分类、目标检测与图像描述模型中的重大缺陷。这些用户发现的组失败率比自动错误聚类方法所暴露的高出 2-3 倍。最后，在 AdaVision 发现的样本上微调可修复已发现的缺陷（在未见样本上评估时），且不降低分布内精度，同时提升分布外数据集上的性能。
引用
@article{arxiv.2212.02774,
title = {Adaptive Testing of Computer Vision Models},
author = {Irena Gao and Gabriel Ilharco and Scott Lundberg and Marco Tulio Ribeiro},
journal= {arXiv preprint arXiv:2212.02774},
year = {2023}
}
备注
ICCV camera-ready