基于频率匹配器的长尾语义分割

过去十年中，语义分割技术在现实世界中的成功应用是计算机视觉领域最令人兴奋的成就之一。尽管长尾现象已在分类和目标检测等多个领域得到研究，但在语义分割中尚未得到足够重视，并已成为将语义分割技术应用于自动驾驶和虚拟现实的一个不可忽视的障碍。因此，本文聚焦于一个相对未被充分探索的任务设定——长尾语义分割。我们首先从场景、物体和人物三个不同方面建立了三个代表性数据集。我们进一步提出了一个双度量评估系统，并构建了长尾语义分割基准，以展示语义分割方法和长尾解决方案的性能。我们还提出了一种基于Transformer的算法来改进长尾语义分割——基于频率的匹配器，它通过一对多匹配解决了过度抑制问题，并自动确定每个类别的匹配查询数量。鉴于本工作的全面性以及所揭示问题的重要性，本文旨在促进语义分割任务的实证研究。我们的数据集、代码和模型将公开提供。