Dynamic Feature Regularized Loss for Weakly Supervised Semantic Segmentation

我们专注于解决基于涂鸦级标注的弱监督语义分割问题。正则化损失已被证明是解决此任务的有效方案。然而，大多数现有的正则化损失仅利用静态浅层特征（颜色、空间信息）来计算正则化核，这限制了其最终性能，因为这种静态浅层特征无法描述复杂情况下的成对像素关系。在本文中，我们提出了一种新的正则化损失，它同时利用动态更新的浅层和深层特征，以聚合足够的信息来表示不同像素之间的关系。此外，为了提供准确的深层特征，我们采用视觉Transformer作为骨干网络，并设计了一个特征一致性头来训练成对特征关系。与大多数采用多阶段训练策略并包含许多复杂技巧的方法不同，我们的方法可以直接以端到端的方式进行训练，其中特征一致性头和我们的正则化损失可以相互受益。大量实验表明，我们的方法达到了新的最先进性能，以超过6% mIoU的显著优势优于其他方法。