理解图像增强的益处
计算机视觉与模式识别
2023-06-13 v1 机器学习
图像与视频处理
摘要
图像增强被广泛用于减少神经网络中的过拟合。然而，其益处的可解释性在很大程度上仍是一个谜。我们使用中心核对齐（CKA）研究残差神经网络（ResNets）的哪些层受增强影响最大。为此，我们分析了不同宽度与深度的模型，以及其权重是随机初始化还是通过迁移学习初始化。我们发现层受影响的方式取决于模型的深度，且使用来自两幅图像信息的增强所训练的网络的所学权重，比在单幅图像上操作的增强受到显著影响更大。以ImageNet-1K权重初始化并微调的ResNets的较深层比早期层受到增强的更大影响。理解图像增强对CNN的影响将有多种应用，例如确定微调网络需要回溯到多深，以及实现层冻结算法时应冻结哪些层。
引用
@article{arxiv.2306.06254,
title = {Understanding the Benefits of Image Augmentations},
author = {Matthew Iceland and Christopher Kanan},
journal= {arXiv preprint arXiv:2306.06254},
year = {2023}
}