利用并保持卷积网络稀疏性的推理、学习与注意力机制
计算机视觉与模式识别
2020-03-13 v3
摘要
尽管 CNN 天然适用于密集采样数据，且有成熟的实现可用，但它们缺乏高效处理稀疏数据的能力。本工作中，我们引入一套工具，利用特征图和滤波器权重两方面的稀疏性，从而在处理高度稀疏数据时，相比传统密集框架显著降低内存占用和计算时间。我们的方案提供（i）基于直接稀疏卷积的卷积层高效 GPU 实现；（ii）卷积层内的一个滤波步骤，我们称之为注意力（attention），可防止填充（fill-in），即卷积使稀疏性快速降低的趋势，并保证计算资源的上界；以及（iii）反向传播算法的适配，使得我们的方法可与标准学习框架结合，同时仍利用数据和模型中的稀疏性。
引用
@article{arxiv.1801.10585,
title = {Inference, Learning and Attention Mechanisms that Exploit and Preserve Sparsity in Convolutional Networks},
author = {Timo Hackel and Mikhail Usvyatsov and Silvano Galliani and Jan D. Wegner and Konrad Schindler},
journal= {arXiv preprint arXiv:1801.10585},
year = {2020}
}
备注
Updated to IJCV version