聚焦你的注意力（基于自适应 IIR 滤波器）
机器学习
2023-10-19 v2 信号处理
摘要
我们提出一种新层，其中在应用常规注意力之前，使用动态的（即输入依赖的）二阶无限冲激响应（IIR）滤波器来处理输入序列。输入被分块，这些滤波器的系数基于先前块确定以维持因果性。尽管阶数相对较低，这些因果自适应滤波器被证明可将注意力聚焦于相关序列元素。新层以控制理论为基础，并被证明可泛化对角状态空间层。该层与最先进网络性能相当，但参数量仅为其一小部分，且时间复杂度相对于输入规模为次二次。所得层在参数数量与在多个长程序列问题上所获性能水平两方面，均优于 Heyna、GPT2 与 Mega 等层。
引用
@article{arxiv.2305.14952,
title = {Focus Your Attention (with Adaptive IIR Filters)},
author = {Shahar Lutati and Itamar Zimerman and Lior Wolf},
journal= {arXiv preprint arXiv:2305.14952},
year = {2023}
}
备注
Accepted to EMNLP 2023