GrootVL：树拓扑是状态空间模型所需的一切
机器学习
2024-06-05 v1 计算机视觉与模式识别
摘要
状态空间模型采用递归传播的特征，展现出与Transformer模型相当的强大表示能力和更高的效率。然而，受序列固有几何约束的限制，它在建模长程依赖方面仍然不足。为了解决这个问题，我们提出了GrootVL网络，它首先基于空间关系和输入特征动态生成树拓扑。然后，基于该图进行特征传播，从而打破原始序列约束以实现更强的表示能力。此外，我们引入了一种线性复杂度动态规划算法，以在不增加计算成本的情况下增强长程交互。GrootVL是一个通用的多模态框架，可应用于视觉和文本任务。大量实验表明，我们的方法在图像分类、目标检测和分割上显著优于现有的结构化状态空间模型。此外，通过微调大型语言模型，我们的方法在多个文本任务中以较小的训练成本实现了一致的改进。
引用
@article{arxiv.2406.02395,
title = {GrootVL: Tree Topology is All You Need in State Space Model},
author = {Yicheng Xiao and Lin Song and Shaoli Huang and Jiangshan Wang and Siyu Song and Yixiao Ge and Xiu Li and Ying Shan},
journal= {arXiv preprint arXiv:2406.02395},
year = {2024}
}
备注
The code is available at https://github.com/EasonXiao-888/GrootVL