内容感知卷积神经网络
计算机视觉与模式识别
2021-07-26 v2
摘要
卷积神经网络（CNNs）因卷积层强大的特征学习能力而取得巨大成功。具体而言，标准卷积采用滑动窗口方案遍历输入图像/特征以提取特征。然而，并非所有窗口对 CNN 的预测结果贡献相同。实际上，在某些窗口（如包含极相似像素的平滑窗口）上进行卷积操作可能非常冗余，并给计算引入噪声。此类冗余不仅可能损害性能，还会带来不必要的计算开销。因此，降低卷积的计算冗余以提升性能十分重要。为此，我们提出一种内容感知卷积（CAC），可自动检测平滑窗口并应用 1x1 卷积核替代原始大核。由此，我们能有效避免对相似像素的冗余计算。通过将 CNN 中的标准卷积替换为我们的 CAC，所得模型相比采用标准卷积的基线模型取得了显著更优的性能与更低的计算成本。更关键的是，我们能够根据不同图像的数据平滑度动态分配合适的计算资源，使内容感知计算成为可能。在各种计算机视觉任务上的广泛实验证明了我们的方法相对于现有方法的优越性。
引用
@article{arxiv.2106.15797,
title = {Content-Aware Convolutional Neural Networks},
author = {Yong Guo and Yaofo Chen and Mingkui Tan and Kui Jia and Jian Chen and Jingdong Wang},
journal= {arXiv preprint arXiv:2106.15797},
year = {2021}
}
备注
Accepted by Neural Networks