AttendNets：基于视觉注意力凝聚器的边缘端微型深度图像识别神经网络

尽管深度学习的重大进展已在大量复杂视觉感知任务中取得最先进的性能，但鉴于深度神经网络的复杂性，将深度神经网络广泛部署于涉及设备上低功耗图像识别的 TinyML 应用仍是一大挑战。在本研究中，我们提出 AttendNets，一种专为设备上图像识别设计的低精度、高度紧凑的深度神经网络。更具体地，AttendNets 拥有基于视觉注意力凝聚器（visual attention condenser）的深度自注意力架构，其扩展了近期提出的独立注意力凝聚器以改进空间-通道选择性注意力。此外，AttendNets 具有通过机器驱动设计探索策略实现的独特机器设计宏架构与微架构。在 ImageNet$_{50}$ 基准数据集上针对设备上图像识别任务的实验结果表明，与文献中若干为效率设计的深度神经网络相比，AttendNets 的架构与计算复杂度显著更低，同时取得了最高准确率（其中最小的 AttendNet 实现了约 7.2% 的准确率提升，而所需乘加操作减少约 3$\times$，参数减少约 4.17$\times$，权重内存需求降低约 16.7$\times$ 于 MobileNet-V1）。基于这些有前景的结果，AttendNets 展示了视觉注意力凝聚器作为构建模块以支持 TinyML 应用各类设备上视觉感知任务的有效性。