实例即查询

近来，基于查询的目标检测框架取得了与先前最先进目标检测器相当的性能。然而，如何充分利用此类框架执行实例分割仍是一个开放问题。本文提出QueryInst（Instances as Queries，实例即查询），一种由动态掩码头并行监督驱动的基于查询的实例分割方法。QueryInst的核心见解是利用目标查询在不同阶段间内在的一一对应关系，以及同一阶段中掩码RoI特征与目标查询之间的一一对应关系。该方法消除了显式的多阶段掩码头连接，以及非基于查询的多阶段实例分割方法中固有的候选框分布不一致问题。我们在三个具有挑战性的基准（即COCO、CityScapes和YouTube-VIS）上进行了大量实验，以评估QueryInst在实例分割与视频实例分割(VIS)任务中的有效性。具体而言，使用ResNet-101-FPN骨干网络，QueryInst在COCO test-dev上取得48.1 box AP与42.8 mask AP，在box AP与mask AP上均比HTC高2个点，同时运行速度快2.4倍。对于视频实例分割，QueryInst在所有在线VIS方法中取得最佳性能，并实现了良好的速度-精度权衡。代码见 \url{https://github.com/hustvl/QueryInst}。