动态结构语义传播网络

由于将结构推断引入密集预测会导致效率低下与优化复杂，语义概念层级在语义分割中仍被探索不足。缺乏对语义关联的建模也使得先前的工作必须因不同数据集间的标签差异而为每个任务调整高度特定的模型。这严重限制了分割模型在开放集概念词汇表上的泛化能力与标注利用率。在本文中，我们提出了一种动态结构语义传播网络（DSSPN），通过显式地将语义概念层级融入网络构建来构建语义神经元图。每个神经元代表用于识别特定类型实体（如超类（例如食物）或特定概念（例如披萨））的实例化模块。在训练期间，DSSPN 以有原则的方式仅激活每张图像对应的神经元子图，从而执行动态结构的神经元计算图。提出了一个密集的语义增强神经块，将所有祖先神经元学习到的知识传播到每个细粒度子神经元中，以进行特征演化。这种语义可解释结构的另一个优点是能够在不同数据集上同时学习统一模型，方法是在每一步为每个标注选择性地激活不同的神经元子图。在四个公共语义分割数据集（即 ADE20K、COCO-Stuff、Cityscape 和 Mapillary）上的大量实验证明了我们的 DSSPN 优于最先进的分割模型。此外，我们证明了一个在不同数据集上联合训练的通用分割模型，其性能可以超越利用多领域知识的常见微调方案。