OrthoNets：正交通道注意力网络
计算机视觉与模式识别
2023-11-08 v2
摘要
设计有效的通道注意力机制需要找到一种允许最优特征表示的有损压缩方法。尽管该领域近期取得了进展，这仍是一个开放问题。当前最先进的通道注意力机制 FcaNet 试图利用离散余弦变换（DCT）寻找这种信息丰富的压缩。FcaNet 的一个缺陷在于 DCT 频率没有自然的选择。为规避此问题，FcaNet 在 ImageNet 上实验以寻找最优频率。我们假设频率的选择仅起辅助作用，而其注意力滤波器有效性的主要驱动力是 DCT 核的正交性。为验证该假设，我们使用随机初始化的正交滤波器构建注意力机制。将该机制集成到 ResNet 中，我们创建了 OrthoNet。我们在 Birds、MS-COCO 和 Places356 上将 OrthoNet 与 FcaNet（及其他注意力机制）比较，并展现出更优性能。在 ImageNet 数据集上，我们的方法与当前最先进方法竞争或超越之。我们的结果表明最优滤波器的选择难以捉摸，且可通过足够数量的正交滤波器实现泛化。我们进一步研究了实现通道注意力的其他一般原则，例如其在网络中的位置和通道分组。我们的代码公开于 https://github.com/hady1011/OrthoNets/
引用
@article{arxiv.2311.03071,
title = {OrthoNets: Orthogonal Channel Attention Networks},
author = {Hadi Salman and Caleb Parks and Matthew Swan and John Gauch},
journal= {arXiv preprint arXiv:2311.03071},
year = {2023}
}
备注
IEEE BigData 2023