AttendSeg：一种用于边缘端语义分割的微型注意力浓缩神经网络
计算机视觉与模式识别
2021-05-03 v1 机器学习
摘要
在本研究中，我们提出 \textbf{AttendSeg}，一种专为设备端语义分割设计的低精度、高度紧凑的深度神经网络。AttendSeg 拥有自注意力网络架构，由轻量级注意力浓缩器组成，以极低复杂度实现改进的空间-通道选择性注意力。AttendSeg 独特的宏架构与微架构设计特性在表征能力与效率之间取得了强平衡，这是通过针对当前任务定制的机器驱动设计探索策略实现的。实验结果表明，所提出的 AttendSeg 在分割精度上可与复杂度高得多的深度神经网络相媲美，同时架构与计算复杂度显著降低（所需 MAC 少至 >27倍、参数少 >72倍、权重内存需求低 >288倍），使其非常适于边缘端的 TinyML 应用。
引用
@article{arxiv.2104.14623,
title = {AttendSeg: A Tiny Attention Condenser Neural Network for Semantic Segmentation on the Edge},
author = {Xiaoyu Wen and Mahmoud Famouri and Andrew Hryniowski and Alexander Wong},
journal= {arXiv preprint arXiv:2104.14623},
year = {2021}
}
备注
5 pages