CNN 是否编码了数据增强?
计算机视觉与模式识别
2021-10-29 v3 机器学习
图像与视频处理
机器学习
摘要
数据增强是训练鲁棒神经网络(尤其是在计算机视觉中)配方的重要组成部分。一个基本问题是神经网络的特徵是否编码了数据增强变换。为回答这一问题,我们引入了一种系统方法来研究神经网络的哪些层最能预测增强变换。我们的方法利用预训练视觉模型中的特徵,仅需极少的额外处理,即可预测由增强变换改变的常见属性(尺度、长宽比、色调、饱和度、对比度和亮度)。令人惊讶的是,神经网络特徵不仅能预测数据增强变换,而且能以很高的准确率预测多种变换。在验证神经网络确实编码了对应于增强变换的特徵后,我们表明这些特徵编码在现代 CNN 的早期层中,尽管增强信号在更深的层中逐渐衰减。
引用
@article{arxiv.2003.08773,
title = {Do CNNs Encode Data Augmentations?},
author = {Eddie Yan and Yanping Huang},
journal= {arXiv preprint arXiv:2003.08773},
year = {2021}
}