基于 MindSpore 的多维交互注意力机制 MIA-Mind
计算机视觉与模式识别
2025-04-29 v1 人工智能
摘要
注意力机制通过选择性聚焦来增强特征表示，对深度学习产生了显著推进。然而，现有方法常独立地建模通道重要性和空间显著性，忽视其内在相互性，限制了其有效性。为此，我们提出了 MIA-Mind，这是一种轻量且模块化的多维交互注意力机制，基于 MindSpore 框架构建。MIA-Mind 通过统一的交叉注意力融合策略联合建模空间和通道特征，实现最小计算开销下的细粒度特征重校准。在三个代表性数据集上进行了大量实验：在 CIFAR-10 上，MIA-Mind 实现了 82.9% 的准确率；在ISBI2012上，实现了78.7%的准确率；在CIC-IDS2017上，实现了91.9%的准确率。这些结果验证了MIA-Mind在异构任务中的通用性、轻量级设计和泛化能力。未来工作将探索将MIA-Mind扩展到大规模数据集、开发自适应注意力融合策略以及分布式部署，以进一步提升其可扩展性和鲁棒性。
引用
@article{arxiv.2504.19080,
title = {MIA-Mind: A Multidimensional Interactive Attention Mechanism Based on MindSpore},
author = {Zhenkai Qin and Jiaquan Liang and Qiao Fang},
journal= {arXiv preprint arXiv:2504.19080},
year = {2025}
}