基于低秩专家混合的多任务稠密预测
计算机视觉与模式识别
2024-05-28 v2
摘要
基于专家混合（Mixture of Experts，MoE）的多任务稠密预测方法虽取得了优异性能，但忽视了明确建模所有任务之间全局关系的重要性。本文提出了一种新颖的解码器导向方法，用于多任务稠密预测，称为混合低秩专家（Mixture-of-Low-Rank-Experts，MLoRE）。为建模全局任务关系，MLoRE在原始MoE结构中添加了一条通用卷积路径，使每个任务特征都可通过该路径进行显式参数共享。此外，为控制专家数量增加所带来的参数和计算成本， 我们借鉴LoRA的思路，提出在专家网络中利用恒定卷积的低秩格式。由于低秩专家参数更少且可动态参数化为通用卷积，因此专家数量的增加不会显著增加参数和计算成本。得益于此设计，我们增加了专家数量和感受野，以扩大统一网络中多任务稠密学习的表征能力。 在PASCAL-Context和NYUD-v2基准上进行的大量实验表明，MLoRE在所有指标上均优于以往的状态方法。我们的代码已公开：https://github.com/YuqiYang213/MLoRE。
引用
@article{arxiv.2403.17749,
title = {Multi-Task Dense Prediction via Mixture of Low-Rank Experts},
author = {Yuqi Yang and Peng-Tao Jiang and Qibin Hou and Hao Zhang and Jinwei Chen and Bo Li},
journal= {arXiv preprint arXiv:2403.17749},
year = {2024}
}
备注
Accepted at CVPR 2024