公平比较：细粒度视觉分类结果中方差的量化
计算机视觉与模式识别
2021-09-09 v2
摘要
对于图像分类任务，研究者辛勤致力于开发下一代最先进 (SOTA) 模型，各自将自身性能与前辈及同行的基准进行比较。遗憾的是，最常用于描述模型性能的度量——平均分类准确率，常被孤立使用。随着类别数增加，例如细粒度视觉分类 (FGVC) 中，仅由平均准确率传达的信息量骤减。其最明显的弱点在于无法描述模型在逐类基础上的性能，平均准确率也未能描述在相同数据集上、相同架构的某一个训练模型到另一个训练模型之间性能可能如何变化（无论是在所有类别上的平均还是逐类层面）。我们首先基于数据属性展示了跨模型与跨类别分布的这些变化的幅度，比较了不同视觉域及不同逐类图像分布（包括长尾分布与少样本子集）上的结果。随后我们分析了各种 FGVC 方法对整体与逐类方差的影响。由此分析，我们既强调了基于整体准确率之外的信息来报告与比较方法的重要性，也指出了缓解 FGVC 结果中方差的技术。
引用
@article{arxiv.2109.03156,
title = {Fair Comparison: Quantifying Variance in Resultsfor Fine-grained Visual Categorization},
author = {Matthew Gwilliam and Adam Teuscher and Connor Anderson and Ryan Farrell},
journal= {arXiv preprint arXiv:2109.03156},
year = {2021}
}
备注
Accepted at WACV 2021; 8 pages text, 2 pages bib, 12 figures