量化记忆增强神经网络
机器学习
2017-11-13 v1 机器学习
摘要
记忆增强神经网络 (MANNs) 指一类配备外部记忆（如神经图灵机和记忆网络）的神经网络模型。这些神经网络在学习长期依赖方面优于传统循环神经网络 (RNNs)，使它们能够解决原本难以处理的引人注目的 AI 任务。本文关注 MANNs 的量化问题。已知在将深度模型部署于资源受限的嵌入式系统时，量化是有效的。此外，量化可大幅降低推理过程的能耗。这些好处证明了近期量化的多层感知机、卷积网络和 RNNs 的发展的合理性。然而，此前尚无工作报道 MANNs 的成功量化。此处给出的深入分析揭示了在其他网络量化中未出现的各种挑战。若未妥善解决，量化 MANNs 通常会遭受过度的量化误差，导致性能下降。在本文中，我们确定记忆寻址（具体地，基于内容的寻址）是性能下降的主因，并提出了一种针对 MANNs 的鲁棒量化方法来应对该挑战。在我们的实验中，与浮点实现相比，采用 8 位定点和二值量化获得了 22 倍的计算能耗收益。在 bAbI 数据集上测得，所得模型称为量化 MANN (Q-MANN)，与采用常规技术量化的 MANN 相比，8 位定点和二值量化的错误率分别降低了 46% 和 30%。
引用
@article{arxiv.1711.03712,
title = {Quantized Memory-Augmented Neural Networks},
author = {Seongsik Park and Seijoon Kim and Seil Lee and Ho Bae and Sungroh Yoon},
journal= {arXiv preprint arXiv:1711.03712},
year = {2017}
}
备注
AAAI 2018