迈向与模型规模无关、无计算、基于记忆的深度学习推理
机器学习
2023-07-18 v1
摘要
深度神经网络的快速发展显著改善了图像与语音识别等各类任务。然而，随着这些模型复杂度的提升，计算成本与参数量也随之增加，使其难以部署于资源受限设备。本文提出一种新颖的基于记忆的推理（MBI），其无需计算且仅需查找。具体而言，我们的工作利用了循环注意力模型（RAM）的推理机制，其中仅处理输入域的一小窗口（glimpse），且多个 glimpse 的输出通过隐藏向量组合以确定问题的整体分类输出。通过利用 glimpse 的低维性，我们的推理过程将包含 glimpse 位置、块向量等键值对存入表中。推理期间通过查表读取键值对并以基于记忆的方式执行无计算推理，从而免去计算。借助贝叶斯优化与聚类，所需查找减少且精度提升。我们还提出了存内计算电路，以快速查找与输入查询匹配的关键向量。相较于具竞争力的存内计算（CIM）方法，对于 MNIST 字符识别，MBI 的能效比多层感知机（MLP）-CIM 提高近 2.7 倍，比 ResNet20-CIM 提高近 83 倍。
引用
@article{arxiv.2307.07631,
title = {Towards Model-Size Agnostic, Compute-Free, Memorization-based Inference of Deep Learning},
author = {Davide Giacomini and Maeesha Binte Hashem and Jeremiah Suarez and Swarup Bhunia and Amit Ranjan Trivedi},
journal= {arXiv preprint arXiv:2307.07631},
year = {2023}
}