NLP问题中的注意力机制入门综述
计算与语言
2018-11-15 v1 机器学习
机器学习
摘要
注意力机制最初源于人类直觉，后来被应用于机器翻译以实现自动词元对齐；它是一种基于为每个元素分配的重要性分数来编码序列数据的简单方法，已被广泛应用于自然语言处理的各种任务中并取得了显著改进，包括情感分类、文本摘要、问答、依存句法分析等。本文调研了近期工作，并对不同NLP问题中的注意力机制进行入门性总结，旨在为读者提供这一广泛使用方法的基础知识，讨论其针对不同任务的不同变体，探索其与机器学习中其他技术的关联，并考察评估其性能的方法。
引用
@article{arxiv.1811.05544,
title = {An Introductory Survey on Attention Mechanisms in NLP Problems},
author = {Dichao Hu},
journal= {arXiv preprint arXiv:1811.05544},
year = {2018}
}
备注
9 pages