用动态秩-1卷积统一实例分割与全景分割
计算机视觉与模式识别
2020-11-20 v1
摘要
近来，全卷积单阶段网络在实例分割上展现出优于两阶段框架的性能，因为它们通常能以更少的计算生成更高质量的掩码预测。此外，其简单的设计为联合多任务学习提供了新的机会。在本文中，我们证明，全卷积实例分割网络只需增加一个用于语义分割的分类层，即可达到最先进的全景分割质量。这得益于我们提出的新型动态秩-1卷积（DR1Conv），这是一种新颖的动态模块，能够高效地将高层上下文信息与低层细节特征相融合，对语义和实例分割均有益处。重要的是，所提出的新方法称为DR1Mask，仅需增加一层即可执行全景分割。据我们所知，DR1Mask是首个通过同时考虑效能与效率、为实例与语义分割共享特征图的 panoramic 分割框架。我们的框架不仅效率更高——比以往最佳的双分支方法快一倍，而且该统一框架为使用同一上下文模块提升两项任务性能提供了可能。作为副产品，在单独执行实例分割时，DR1Mask比以往的SOTA实例分割网络BlendMask快10%且mAP精度高1个点。代码见：https://git.io/AdelaiDet
引用
@article{arxiv.2011.09796,
title = {Unifying Instance and Panoptic Segmentation with Dynamic Rank-1 Convolutions},
author = {Hao Chen and Chunhua Shen and Zhi Tian},
journal= {arXiv preprint arXiv:2011.09796},
year = {2020}
}