在异构数据集上训练语义分割

我们探索了超越常规单数据集同质训练的语义分割，并提出了异构语义分割训练（HTSS）问题。HTSS 涉及在多个异构数据集上同时训练，即从语义分割视角看具有冲突标签空间和不同（弱）标注类型的数据集。HTSS 表述将深度网络暴露于更大且先前未探索的信息聚合中，这可能从三个方向增强语义分割：i) 性能：在已见数据集上提升的分割指标，ii) 泛化：在未见数据集上改善的分割指标，以及 iii) 知识性：可识别语义概念数量的增加。为研究 HTSS 的这些益处，我们提出了一个统一框架，遵循既有的 FCN 标准，将异构数据集纳入单网络训练流程。我们的框架首先整理异构数据集使其具有通用格式，然后在所有数据集上同时训练单骨干 FCN。为实现这一点，它将与语义分割不兼容的弱标注转换为逐像素标签，并将其标签空间分层为通用分类法。训练得到的 HTSS 模型在广泛的数据集上展示了性能和泛化增益，并扩展了涵盖数百个语义类的推理标签空间。