通过语义记忆加速移动端CNN推理
计算机视觉与模式识别
2021-12-07 v1 多媒体
摘要
众所周知，人脑能够通过激活神经元上更快的记忆编码与访问过程，加速对重复呈现物体的视觉识别。我们首次借鉴并将此种能力提炼为一种语义记忆设计，即SMTM，以改进设备端CNN推理。SMTM采用分层记忆架构来利用感兴趣物体的长尾分布，并进一步结合若干新技术使之生效：(1) 它将高维特征图编码为低维语义向量，以实现低成本且准确的缓存与查找；(2) 它使用一种考虑不同层固有特性的新度量来决定退出时机；(3) 它自适应调整缓存大小和语义向量以适配场景动态。SMTM在商用CNN引擎上原型实现，并在移动端CPU和GPU上运行。在大规模数据集和模型上的大量实验表明，SMTM相较标准方法（最高2倍）和先前的缓存设计（最高1.5倍）能显著加速模型推理，且精度损失可接受。
引用
@article{arxiv.2112.02644,
title = {Boosting Mobile CNN Inference through Semantic Memory},
author = {Yun Li and Chen Zhang and Shihao Han and Li Lyna Zhang and Baoqun Yin and Yunxin Liu and Mengwei Xu},
journal= {arXiv preprint arXiv:2112.02644},
year = {2021}
}
备注
13 pages, 13 figures