神经网络中的注意力机制：起源与去向
机器学习
2022-08-10 v1
摘要
早在机器学习文献中，将受人类视觉系统启发的机制引入神经网络的想法便已被提出。该想法被称为注意力机制，并经历了漫长的发展期。如今，大量工作致力于在各种任务中应用此想法，近期已展现出卓越性能。本文旨在提供一份概览，涵盖从早期探索以神经网络实现注意力想法的工作直至近期趋势。本综述强调这一进展中针对不同任务的重要里程碑。借此，本研究旨在为研究者提供路线图，以探索当前发展并启发超越注意力的新方法。
引用
@article{arxiv.2204.13154,
title = {Attention Mechanism in Neural Networks: Where it Comes and Where it Goes},
author = {Derya Soydaner},
journal= {arXiv preprint arXiv:2204.13154},
year = {2022}
}