GPCA：一种嵌入高斯过程的通道注意力概率框架
机器学习
2021-08-11 v2 机器学习
摘要
通道注意力机制已被广泛应用于许多视觉任务中以有效提升性能。它能够增强信息丰富的通道并抑制无用的通道。近来，不同的通道注意力模块被提出并以各种方式实现。一般而言，它们主要基于卷积与池化操作。本文中，我们提出高斯过程嵌入通道注意力（GPCA）模块，并进一步以概率方式解释通道注意力方案。GPCA 模块旨在对通道间的关联性进行建模，这些关联性被假设为由 beta 分布变量所刻画。由于 beta 分布无法以数学上可处理的解集成到卷积神经网络（CNNs）的端到端训练中，我们利用 beta 分布的近似来解决该问题。具体而言，我们采用 Sigmoid-Gaussian 近似，将高斯分布变量转换到区间 [0,1] 内。随后利用高斯过程对不同的通道间关联性建模。在此情形下，导出了数学上可处理的解。GPCA 模块可被高效实现并集成到 CNNs 的端到端训练中。实验结果展示了所提 GPCA 模块的优异性能。代码见 https://github.com/PRIS-CV/GPCA。
引用
@article{arxiv.2003.04575,
title = {GPCA: A Probabilistic Framework for Gaussian Process Embedded Channel Attention},
author = {Jiyang Xie and Dongliang Chang and Zhanyu Ma and Guoqiang Zhang and Jun Guo},
journal= {arXiv preprint arXiv:2003.04575},
year = {2021}
}
备注
Accepted by IEEE TPAMI, 2021