通过匹配增强分布提升预训练网络性能
计算机视觉与模式识别
2022-01-21 v1 人工智能
摘要
在将图像输入现代 CNN 的方式上，训练与测试之间存在分布差异。近期工作试图通过微调或以不同分辨率重新训练网络来弥合这一差距。然而重新训练网络很少是廉价的，且并非总是可行。为此，我们提出一种简单的解决方案来解决训练-测试分布偏移并提升预训练模型的性能——这些模型通常作为深度学习平台（例如 PyTorch）的打包组件提供。具体而言，我们证明对图像中心裁剪进行推理并非总是最佳选择，因为重要的判别信息可能被裁掉。相反，我们提议对测试图像的多个随机裁剪结果进行合并。这不仅与训练时的增强方式相匹配，还提供了对输入图像的完整覆盖。我们探索通过在深度特征层、logit 层和 softmax 层等不同层级进行平均来合并随机裁剪的表示。我们证明，对于各类现代深度网络，这种平均相比每幅图像使用单一中心裁剪能获得更好的验证精度。softmax 平均在各种预训练网络上均取得最佳性能，且无需任何重新训练或微调。在现代 GPU 的批处理下，本文的预训练网络推理方法本质上是免费的，因为批次中的所有图像均可一次性处理。
引用
@article{arxiv.2201.07894,
title = {Enhanced Performance of Pre-Trained Networks by Matched Augmentation Distributions},
author = {Touqeer Ahmad and Mohsen Jafarzadeh and Akshay Raj Dhamija and Ryan Rabinowitz and Steve Cruz and Chunchun Li and Terrance E. Boult},
journal= {arXiv preprint arXiv:2201.07894},
year = {2022}
}