DAMEX：面向混合数据集视觉理解的数据集感知混合专家
计算机视觉与模式识别
2023-11-09 v1 人工智能
机器学习
摘要
构建通用检测器提出了一个关键问题：我们如何能在大规模混合数据集上最有效地训练模型？答案在于学习数据集特定特征并集成其知识，但这一切需在单一模型中完成。先前方法通过在公共骨干上采用独立检测头实现这一点，却导致参数量显著增加。本文中，我们提出以混合专家（MoE）作为解决方案，并强调MoE远不止是一种可扩展性工具。我们提出数据集感知混合专家DAMEX，通过训练专家学会将各数据集的token路由至其映射的专家，从而成为该数据集的“专家”。在通用目标检测基准上的实验表明，我们以平均+10.2 AP分数优于现有SOTA，并以平均+2.0 AP分数超越我们的非MoE基线。我们还观察到在混合具有以下特征的数据集时获得一致增益：（1）可用性有限，（2）领域迥异，（3）标签集发散。此外，我们定性地展示DAMEX对专家表示坍缩具有鲁棒性。
引用
@article{arxiv.2311.04894,
title = {DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets},
author = {Yash Jain and Harkirat Behl and Zsolt Kira and Vibhav Vineet},
journal= {arXiv preprint arXiv:2311.04894},
year = {2023}
}
备注
https://github.com/jinga-lala/DAMEX