Heracles：一种用于高分辨率图像和时间序列分析的混合 SSM-Transformer 模型
摘要
Transformer 通过 DeIT、Swin、SVT、Biformer、STVit 和 FDVIT 等适配方法在图像建模任务中取得了突破性进展。然而，这些模型常面临归纳偏差和高二次复杂度的问题，导致在高分辨率图像上效率不高。国家空间模型（SSMs）如 Mamba、V-Mamba、ViM 和 SiMBA 提供了一种处理计算机视觉任务中高分辨率图像的替代方案。这些 SSM 存在两个主要问题：其一，当网络规模扩大到足够大时会变得不稳定；其二，虽然它们高效地捕获图像中的全局信息，但本质上难以处理局部信息。为解决这些挑战，我们提出了 Heracles，这是一种新型 SSM，集成了局部 SSM、全局 SSM 以及基于注意力的 token 交互模块。Heracles 利用基于哈特利内核的状态空间模型捕获全局图像信息，采用局部卷积网络处理局部细节，并在更深的层次中使用注意力机制进行 token 交互。我们的大量实验表明，Heracles-C-small 在 ImageNet 数据集上实现了 84.5% 的 top-1 准确率，达到最新技术水平。Heracles-C-Large 和 Heracles-C-Huge 进一步将准确率提升至 85.9% 和 86.4%。此外，Heracles 在 CIFAR-10、CIFAR-100、Oxford Flowers 和 Stanford Cars 等数据集上的迁移学习任务中也表现出色，并在 MSCOCO 数据集上的实例分割任务中取得优异成绩。Heracles 还在七个时间序列数据集上实现了最新技术成果，展示了其在谱数据领域普适化的能力，能够同时捕获局部和全局信息。项目页面可在此链接访问。\url{https://github.com/badripatro/heracles}
引用
@article{arxiv.2403.18063,
title = {Heracles: A Hybrid SSM-Transformer Model for High-Resolution Image and Time-Series Analysis},
author = {Badri N. Patro and Suhas Ranganath and Vinay P. Namboodiri and Vijay S. Agneeswaran},
journal= {arXiv preprint arXiv:2403.18063},
year = {2024}
}