我快疯了：用于自适应比较分类器的最大差异竞争
机器学习
2020-02-26 v1 计算机视觉与模式识别
机器学习
摘要
图像分类分层表示的学习取得了一系列令人瞩目的成功，部分归功于大规模标注数据可用于训练。另一方面，训练好的分类器传统上在小型固定测试图像集上评估，这些集合被认为在全部自然图像空间中分布极为稀疏。因此，近期在过度复用的测试集上的性能提升能否推广到具有更丰富内容变化的真实世界自然图像，值得怀疑。受心理物理与生理研究中用于测试感知模型的高效刺激选择启发，我们提出了一种比较图像分类器的替代框架，命名为最大差异（MAximum Discrepancy, MAD）竞争。我们并非使用固定测试图像比较分类器，而是从任意大规模无标注图像语料中自适应采样小型测试集，以最大化分类器间基于 WordNet 层次结构度量的差异。对所得依赖模型的图片集进行人工标注揭示了竞争分类器的相对性能，并提供了改进它们的潜在途径的有用见解。我们报告了十一个 ImageNet 分类器的 MAD 竞争结果，同时指出该框架易于扩展且成本低廉，可将未来分类器加入竞争。代码见 https://github.com/TAMU-VITA/MAD。
引用
@article{arxiv.2002.10648,
title = {I Am Going MAD: Maximum Discrepancy Competition for Comparing Classifiers Adaptively},
author = {Haotao Wang and Tianlong Chen and Zhangyang Wang and Kede Ma},
journal= {arXiv preprint arXiv:2002.10648},
year = {2020}
}
备注
Accepted to ICLR 2020