利用贝叶斯优化与文本到图像模型高效探索图像分类器失效模式
计算机视觉与模式识别
2024-09-30 v2 人工智能
摘要
在现实世界中应谨慎使用图像分类器。在验证集上评估的性能可能无法反映真实世界中的性能。特别是，分类器可能在训练期间频繁遇到的条件下表现良好，但在其他不常见的条件下表现不佳。在本研究中，我们假设文本到图像生成模型的最新进展使其在基准测试计算机视觉模型（如图像分类器）方面具有重要价值：它们可以生成以导致分类器失败的文本提示为条件的图像，从而允许用文本属性描述失败条件。然而，当需要生成大量合成图像时，例如需要测试许多不同的属性组合时，其生成成本便成为一个问题。我们提出了一种图像分类器基准测试方法，该方法是一个迭代过程，交替进行图像生成、分类器评估和属性选择。该方法能高效地探索最终导致不良行为检测的属性。
引用
@article{arxiv.2405.02332,
title = {Efficient Exploration of Image Classifier Failures with Bayesian Optimization and Text-to-Image Models},
author = {Adrien LeCoz and Houssem Ouertatani and Stéphane Herbin and Faouzi Adjed},
journal= {arXiv preprint arXiv:2405.02332},
year = {2024}
}