UPANets：从通用像素注意力网络学习
计算机视觉与模式识别
2022-09-21 v2
摘要
在图像分类领域，基于跳跃和密集连接的网络主导了大多数排行榜。近来，随着多头注意力在自然语言处理中的成功发展，现在无疑是使用类 Transformer 模型或将 CNN 与注意力混合的时机。然而，前者需要海量资源进行训练，而后者在此方向上处于完美平衡。在本工作中，为使 CNN 处理全局与局部信息，我们提出了 UPANets，其将通道注意力与混合跳跃-密集连接结构相结合。此外，极端连接结构使 UPANets 具有鲁棒性且损失景观更平滑。在实验中，UPANets 以 Cifar-10 上 96.47%、Cifar-100 上 80.29%、Tiny Imagenet 上 67.67% 的准确率超越了大多数知名且广泛使用的 SOTA。最重要的是，这些性能具有高参数效率且仅在一块基于消费者的 GPU 上训练。我们在 https://github.com/hanktseng131415go/UPANets 分享了 UPANets 的实现代码。
引用
@article{arxiv.2103.08640,
title = {UPANets: Learning from the Universal Pixel Attention Networks},
author = {Ching-Hsun Tseng and Shin-Jye Lee and Jia-Nan Feng and Shengzhong Mao and Yu-Ping Wu and Jia-Yu Shang and Mou-Chung Tseng and Xiao-Jun Zeng},
journal= {arXiv preprint arXiv:2103.08640},
year = {2022}
}