基于逐像素动态滤波器原子的自适应卷积
计算机视觉与模式识别
2021-08-19 v1
摘要
应用依赖于特征的网络权重已在诸多领域被证明有效。然而在实践中，受限于模型参数与内存占用的庞大尺寸，具备逐像素自适应滤波器的可扩展且通用的动态卷积尚待充分探索。本文通过将适应于每个空间位置的滤波器，在由轻量网络从局部特征生成的动态滤波器原子上分解，以应对该挑战。通过进一步在预固定多尺度基集合上表示每个滤波器原子，可支持自适应感受野。作为卷积层的即插即用替代，所引入的带逐像素动态原子的自适应卷积能够实现图像内方差的显式建模，同时避免沉重的计算、参数与内存开销。我们的方法保留了传统卷积所具有的平移等变与参数高效的优良特性。我们给出实验表明，所提方法在各项任务上取得可比甚至更优性能，并在处理具有显著图像内方差的任务时尤为有效。
引用
@article{arxiv.2108.07895,
title = {Adaptive Convolutions with Per-pixel Dynamic Filter Atom},
author = {Ze Wang and Zichen Miao and Jun Hu and Qiang Qiu},
journal= {arXiv preprint arXiv:2108.07895},
year = {2021}
}