ChordMixer：一种可扩展的用于处理变长序列的神经注意力模型
机器学习
2023-05-09 v2
摘要
在许多领域中，序列数据自然具有不同长度，且存在一些非常长的序列。作为重要的建模工具，神经注意力应当捕捉此类序列中的长程交互。然而，大多数现有神经注意力模型只接受短序列，或者必须采用分块或填充来强制恒定输入长度。本文提出一种称为ChordMixer的简单神经网络构建块，可对变长长序列建模注意力。每个ChordMixer块由无可学习参数的位置-wise旋转层和逐元素MLP层组成。重复应用这些块形成有效的网络骨干，将输入信号混合至学习目标。我们在合成加法问题、长文档分类和基于DNA序列的分类任务上测试了ChordMixer。实验结果表明，我们的方法大幅优于其他神经注意力模型。
引用
@article{arxiv.2206.05852,
title = {ChordMixer: A Scalable Neural Attention Model for Sequences with Different Lengths},
author = {Ruslan Khalitov and Tong Yu and Lei Cheng and Zhirong Yang},
journal= {arXiv preprint arXiv:2206.05852},
year = {2023}
}