NICE：通过级联协同学习改进全景叙事检测与分割
计算机视觉与模式识别
2023-10-24 v2
摘要
全景叙事检测（PND）与分割（PNS）是两项具有挑战性的任务，涉及依据长篇叙事描述在图像中识别并定位多个目标。本文中，我们提出一个统一且高效的框架 NICE，可联合学习这两项全景叙事识别任务。现有视觉定位任务采用双分支范式，但将其直接应用于 PND 与 PNS 会因二者固有的多对多对齐特性而导致预测冲突。为此，我们引入两个基于掩码质心的级联模块，即负责分割的坐标引导聚合（CGA）与负责检测的中心驱动定位（BDL）。通过将 PNS 与 PND 以分割质心为锚点串行连接，我们的方法自然对齐两项任务并使其互补以提升性能。具体而言，CGA 提供质心作为检测参考，降低 BDL 对大量候选框的依赖；BDL 利用其优异特性区分不同实例，从而提升 CGA 的分割性能。大量实验表明，NICE 大幅超越所有现有方法，在 PND 上较最先进水平提升 4.1%，在 PNS 上提升 2.9%。这些结果验证了我们所提协同学习策略的有效性。本工作的项目已公开于 https://github.com/Mr-Neko/NICE。
引用
@article{arxiv.2310.10975,
title = {NICE: Improving Panoptic Narrative Detection and Segmentation with Cascading Collaborative Learning},
author = {Haowei Wang and Jiayi Ji and Tianyu Guo and Yilong Yang and Yiyi Zhou and Xiaoshuai Sun and Rongrong Ji},
journal= {arXiv preprint arXiv:2310.10975},
year = {2023}
}
备注
18 pages. 9 figures, 9 tables