面向视觉任务的多样化动态路由
计算机视觉与模式识别
2022-09-28 v1
摘要
视觉任务的深度学习模型在大型数据集上训练，其假设存在一个可用于对所有样本进行预测的通用表示。尽管已证明高复杂度模型能够学习此类表示，但在数据特定子集上训练的混合专家可更高效地推断标签。然而，使用混合专家带来了两个新问题，即（i）在推理时当呈现新的未见样本时分配正确的专家；（ii）寻找训练数据的最优划分，使专家最少依赖共同特征。在动态路由（DR）中提出了一种新架构，其中每一层由一组专家组成，但未解决这两个挑战时，我们证明模型会退化为使用相同的专家子集。在我们的方法多样化动态路由（DivDR）中，模型被显式训练以无监督方式解决寻找数据相关划分并分配正确专家的挑战。我们在 Cityscapes 上进行了语义分割以及在 MS-COCO 上进行了目标检测与实例分割的若干实验，显示出优于多个基线的性能。
引用
@article{arxiv.2209.13071,
title = {Diversified Dynamic Routing for Vision Tasks},
author = {Botos Csaba and Adel Bibi and Yanwei Li and Philip Torr and Ser-Nam Lim},
journal= {arXiv preprint arXiv:2209.13071},
year = {2022}
}
备注
18 pages, 9 figures, ECCV, VIPriors