A2P-MANN：自适应注意力推理跳数剪枝的记忆增强神经网络
计算与语言
2022-02-24 v2 计算复杂性
机器学习
摘要
在这项工作中，为了限制记忆增强神经网络中所需的注意力推理跳数，我们提出了一种称为 A2P-MANN 的在线自适应方法。通过利用一个小型神经网络分类器，确定输入查询所需的充足注意力推理跳数。该技术可消除在提取正确答案时的大量不必要计算。此外，为了进一步降低 A2P-MANN 中的计算量，我们建议对最终全连接（FC）层的权重进行剪枝。为此，开发了两种剪枝方法：一种具有可忽略的精度损失，另一种对最终精度具有可控损失。通过使用 bAbI 数据集的二十个问答（QA）任务评估了该技术的有效性。分析评估显示，与基线 MANN 相比，平均计算量减少了 42% 以上，代价是精度损失小于 1%。此外，当与先前发布的零跳过（zero-skipping）技术结合使用时，计算量可减少高达 68%。最后，当所提出的方法（不含零跳过）在 CPU 和 GPU 平台上实现时，可实现高达 43% 的运行时间减少。
引用
@article{arxiv.2101.09693,
title = {A2P-MANN: Adaptive Attention Inference Hops Pruned Memory-Augmented Neural Networks},
author = {Mohsen Ahmadzadeh and Mehdi Kamal and Ali Afzali-Kusha and Massoud Pedram},
journal= {arXiv preprint arXiv:2101.09693},
year = {2022}
}
备注
12 pages, 12 figures, 5 tables