iiANET：基于Inception结构的注意力混合网络用于高效长程依赖建模
计算机视觉与模式识别
2026-03-31 v3
摘要
最近出现的混合模型引入了一种变革性的方法，逐步超越了传统卷积神经网络和视觉变换器。然而，如何有效地将这两种方法融合以更好地捕获复杂图像中的长程依赖仍是一个挑战。本文提出iiANET（Inception Inspired Attention Network），一种高效的混合视觉主干网络，用于改进复杂视觉识别任务中长程依赖的建模。iiANET的核心创新是iiABlock，一个统一的构建模块，将修改后的全局r-MHSA（多头自注意力）和卷积层并行集成。这种设计使iiABlock能够同时捕获全局上下文和局部细节，对于从丰富多样的特征中有效提取特征至关重要。通过高效地融合这些互补表征，iiABlock允许iiANET在保持计算效率的同时实现强大的特征交互。在一些SOTA基准上的大量定性和定量评估表明，性能得到了显著提升。
引用
@article{arxiv.2407.07603,
title = {iiANET: Inception Inspired Attention Hybrid Network for efficient Long-Range Dependency},
author = {Haruna Yunusa and Adamu Lawan and Abdulganiyu Abdu Yusuf},
journal= {arXiv preprint arXiv:2407.07603},
year = {2026}
}
备注
17 pages, 7 figures. Published in Transactions on Machine Learning Research (TMLR). Available at https://openreview.net/pdf?id=HGSjlgFodQ