特征提取的频率与尺度视角

卷积神经网络（CNNs）已取得优越性能，但对特征提取的本质与性质仍缺乏清晰认识。本文通过分析神经网络对频率与尺度的敏感性，发现神经网络不仅具有中低频偏置，而且对不同类别偏好不同频带，且物体尺度会影响偏好的频带。这些观察引出假设：神经网络必须学习在多种尺度与频率下提取特征的能力。为佐证该假设，我们提出一种基于高斯导数的网络架构，通过构建尺度空间并采用偏导数作为局部特征提取算子来分离高频信息。这种人工设计的多尺度特征提取方法使我们的 GSSDNets 在各数据集上取得与原始网络相当的精度。