高阶线性Transformer
机器学习
2020-10-29 v1
摘要
继Katharopoulos等人文章中线性Transformer部分（该思想源自Shen等人）之后，产生注意力机制线性复杂度的技巧被复用并推广到softmax归一化的二阶近似。
引用
@article{arxiv.2010.14816,
title = {Higher Order Linear Transformer},
author = {Jean Mercat},
journal= {arXiv preprint arXiv:2010.14816},
year = {2020}
}