CNN 滤波器数据库：对训练后卷积滤波器的实证研究
计算机视觉与模式识别
2022-10-26 v2 人工智能
机器学习
摘要
当前，关于卷积神经网络（CNNs）可迁移性与鲁棒性的许多理论及实际相关问题仍待解决。尽管持续的研究工作正从多个角度切入这些问题，但在大多数计算机视觉相关情形中，这些方法可归纳为对图像数据分布偏移效应的探究。在此背景下，我们提出研究训练后 CNN 模型所学权重的偏移。此处我们关注主导使用的 3x3 卷积滤波器核分布的性质。我们收集并公开提供了一个包含来自数百个训练后 CNN 的超过 14 亿个滤波器的数据集，涵盖广泛的数据集、架构与视觉任务。作为所提数据集的首个用例，我们展示了许多公开可用预训练模型在实际应用中的高度相关性质：I) 我们分析了沿元参数不同轴（如数据集的视觉类别、任务、架构或层深度）的训练滤波器间的分布偏移（或缺失）。基于这些结果，我们得出结论：若数据集满足规模与方差条件，模型预训练可在任意数据集上成功。II) 我们表明许多预训练模型包含退化滤波器，使其鲁棒性下降且更不适于在目标应用上微调。数据与项目网站：https://github.com/paulgavrikov/cnn-filter-db
引用
@article{arxiv.2203.15331,
title = {CNN Filter DB: An Empirical Investigation of Trained Convolutional Filters},
author = {Paul Gavrikov and Janis Keuper},
journal= {arXiv preprint arXiv:2203.15331},
year = {2022}
}
备注
significantly reduced PDF size in v2; Accepted as ORAL at IEEE/CVF Conference on Computer Vision and Pattern Recognition 2022 (CVPR)