用于长序列建模的重参数化多分辨率卷积
机器学习
2024-08-20 v1 计算机视觉与模式识别
摘要
全局卷积作为强大的通用序列模型已展现出日益广阔的前景。然而，训练长卷积具有挑战性，且核参数化必须能够在不过拟合的情况下学习长程依赖。本工作提出了重参数化多分辨率卷积（MRConv），一种用于长序列建模的全局卷积核参数化的新方法。通过利用多分辨率卷积、引入结构重参数化和可学习核衰减，MRConv 学习了表达力强的长程核，在各种数据模态上表现良好。我们的实验在卷积模型和线性时间 Transformer 中展示了在 Long Range Arena、Sequential CIFAR 和 Speech Commands 任务上的最先进性能。此外，我们通过用 1D MRConv 层替换 2D 卷积，在 ImageNet 分类上报告了性能的提升。
引用
@article{arxiv.2408.09453,
title = {Reparameterized Multi-Resolution Convolutions for Long Sequence Modelling},
author = {Harry Jake Cunningham and Giorgio Giannone and Mingtian Zhang and Marc Peter Deisenroth},
journal= {arXiv preprint arXiv:2408.09453},
year = {2024}
}
备注
22 pages, 7 figures