重新审视 Softmax 在轻量级非局部神经网络中的有效性
计算机视觉与模式识别
2022-07-28 v1 人工智能
机器学习
摘要
非局部 (NL) 模块是展现全局上下文建模能力的流行模块。然而,NL 模块通常具有沉重的计算与内存开销,因此将该模块应用于高分辨率特征图并不现实。本文为探究 NL 模块的有效性,通过经验分析输入特征向量的幅值与方向是否恰当影响向量间的注意力。结果显示,通常用于归一化 NL 模块注意力图的 softmax 操作是低效的。经 softmax 操作归一化的注意力图高度依赖键向量的幅值,若移除幅值信息则性能退化。通过将 softmax 操作替换为缩放因子,我们在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 上展示了性能提升。此外,我们的方法对嵌入通道缩减与嵌入权重初始化表现出鲁棒性。值得注意的是,我们的方法使多头注意力可在无额外计算成本下使用。
引用
@article{arxiv.2207.13423,
title = {Rethinking Efficacy of Softmax for Lightweight Non-Local Neural Networks},
author = {Yooshin Cho and Youngsoo Kim and Hanbyel Cho and Jaesung Ahn and Hyeong Gwon Hong and Junmo Kim},
journal= {arXiv preprint arXiv:2207.13423},
year = {2022}
}
备注
ICIP 2022