深度学习中的注意力机制综述
机器学习
2022-03-29 v1
摘要
注意力是一种重要的机制，可用于许多不同领域和任务中的各类深度学习模型。本综述概述了文献中提出的最重要的注意力机制。借助由通用注意力模型、统一符号以及注意力机制的全面分类体系构成的框架，对各种注意力机制进行了解释。此外，回顾了用于评估注意力模型的各种度量，并讨论了基于所提框架刻画注意力模型结构的方法。最后，探讨了注意力模型领域的未来工作。
引用
@article{arxiv.2203.14263,
title = {A General Survey on Attention Mechanisms in Deep Learning},
author = {Gianni Brauwers and Flavius Frasincar},
journal= {arXiv preprint arXiv:2203.14263},
year = {2022}
}
备注
20 pages, 11 figures