让SSM成为卷积网络：基于最优张量收缩的状态空间建模

我们引入了Centaurus，一类由广义状态空间模型(SSM)块组成的网络，其中SSM操作在训练期间可以被视为张量收缩。然后可以系统地确定每个SSM块的最优张量收缩顺序，以最大化训练效率。这使得在设计SSM块时具有比通常实现的深度可分离配置更大的灵活性。新的设计选择将借鉴经典卷积块，包括分组卷积、全卷积和瓶颈块。我们使用这些块的混合来构建Centaurus网络，以平衡网络大小和性能，以及训练和推理期间的内存和计算效率。我们表明，这种异构网络设计在原始音频处理任务（包括关键词识别、语音去噪和自动语音识别(ASR)）中优于其同构对应物。对于ASR，Centaurus是第一个具有竞争性能且可以完全基于状态空间的网络，无需使用任何非线性递归(LSTM)、显式卷积(CNN)或（替代）注意力机制。源代码作为补充材料可在https://openreview.net/forum?id=PkpNRmBZ32上获取。