Myosotis: 类注意力层的结构化计算
机器学习
2025-09-26 v1
摘要
注意力层应用一个序列到序列的映射，其参数依赖于输入元素之间的两两交互。然而，在没有任何结构假设的情况下，内存和计算量随序列长度呈二次增长。缓解这一问题的两种主要方法是引入稀疏性（忽略足够多的两两交互）或在交互中引入递归依赖（如 SSM 所做的）。尽管两种方法都合理，但它们各有缺点。我们提出了一种结合两者优势的新算法。我们的想法基于树结构矩阵的高效求逆。
引用
@article{arxiv.2509.20503,
title = {Myosotis: structured computation for attention like layer},
author = {Evgenii Egorov and Hanno Ackermann and Markus Nagel and Hong Cai},
journal= {arXiv preprint arXiv:2509.20503},
year = {2025}
}