面向多任务稠密预测的参数感知 Mamba 模型
计算机视觉与模式识别
2025-11-19 v1
摘要
理解任务之间的相互关系和相互作用对于多任务稠密预测至关重要。现有方法主要利用卷积层和注意力机制来探索任务级别的相互作用。本文引入一种新型基于解码器的框架——参数感知 Mamba 模型 (PAMM)，专为多任务学习中的稠密预测设计。与采用 Transformer 模型来建模全局任务关系的方法不同，PAMM 利用状态空间模型的丰富、可扩展参数来增强任务间的相互作用。它包含两个状态空间参数专家，用于集成和设置特定于任务的参数先验，捕捉每个任务的内在特性。该方法不仅促进了精确的多任务相互作用，也通过结构化状态空间序列模型 (S4) 实现了任务先验的全局集成。此外，我们采用多向 Hilbert扫描方法构建多角度特征序列，从而增强序列模型对二维数据的感知能力。在 NYUD-v2 和 PASCAL-Context 数据集上的大量实验表明，我们所提出方法的有效性。我们的代码已公开于 https://github.com/CQC-gogopro/PAMM。
引用
@article{arxiv.2511.14503,
title = {Parameter Aware Mamba Model for Multi-task Dense Prediction},
author = {Xinzhuo Yu and Yunzhi Zhuge and Sitong Gong and Lu Zhang and Pingping Zhang and Huchuan Lu},
journal= {arXiv preprint arXiv:2511.14503},
year = {2025}
}
备注
Accepted to IEEE Transactions on Cybernetics