DeMansia: Mamba 永不遗忘任何 Token
计算机视觉与模式识别
2024-08-06 v1 人工智能
摘要
本文检讨了变压器架构的数学基础，突出其在处理长序列方面的局限性。我们探索了诸如Mamba、Vision Mamba（ViM）和LV-ViT等先决模型，为我们的提出架构DeMansia铺平了道路。DeMansia将状态空间模型与 token 标记技术相结合，以增强图像分类任务的性能，有效解决传统变压器在计算方面的挑战。该架构、基准测试以及与当代模型的比较均表明DeMansia的有效性。本文的实现可在GitHub上获取，地址为https://github.com/catalpaaa/DeMansia。
引用
@article{arxiv.2408.01986,
title = {DeMansia: Mamba Never Forgets Any Tokens},
author = {Ricky Fang},
journal= {arXiv preprint arXiv:2408.01986},
year = {2024}
}