图像分类器能否跨时间泛化？
机器学习
2019-12-10 v3 计算机视觉与模式识别
机器学习
摘要
我们研究了图像分类器对源自视频的时间扰动的鲁棒性。作为该研究的组成部分，我们构建了两个数据集ImageNet-Vid-Robust和YTBB-Robust，包含总计57,897张图像，分为3,139组感知相似的图像。我们的数据集分别源自ImageNet-Vid和Youtube-BB，并由人类专家对图像相似性进行了彻底重新标注。我们评估了在ImageNet上预训练的多种分类器，结果显示在我们的两个数据集上分类准确率中位数分别下降了16和10。此外，我们评估了三个检测模型，表明自然扰动会同时引发分类与定位错误，导致检测mAP中位数下降14个点。我们的分析表明，视频中自然发生的扰动对在需要可靠且低延迟预测的环境中部署卷积神经网络构成了实质且现实的挑战。
引用
@article{arxiv.1906.02168,
title = {Do Image Classifiers Generalize Across Time?},
author = {Vaishaal Shankar and Achal Dave and Rebecca Roelofs and Deva Ramanan and Benjamin Recht and Ludwig Schmidt},
journal= {arXiv preprint arXiv:1906.02168},
year = {2019}
}
备注
23 pages, 11 tables, 11 figures. Paper Website: https://modestyachts.github.io/natural-perturbations-website/