基于差分注意力的全景分割联合预测
计算机视觉与模式识别
2022-04-15 v1
摘要
表示的预测对于安全有效的自主系统至关重要。为此，近期工作将全景分割作为一种引人注目的表示进行了研究。然而，当前全景分割预测的最优方法存在两个问题：首先，各个物体实例被相互独立地处理；其次，各物体实例的预测以启发式方式合并。为解决这两个问题，我们研究了一种新的全景分割预测模型，该模型使用基于“差分注意力”的 transformer 模型联合预测场景中的所有物体实例。它进一步通过考虑深度估计来细化预测。我们在 Cityscapes 和 AIODrive 数据集上评估了所提出的模型。我们发现差分注意力特别适合预测，因为位置等量值的差使模型能够显式地推理速度和加速度。因此，我们在全景分割预测指标上达到了最优(state-of-the-art)性能。
引用
@article{arxiv.2204.07157,
title = {Joint Forecasting of Panoptic Segmentations with Difference Attention},
author = {Colin Graber and Cyril Jazra and Wenjie Luo and Liangyan Gui and Alexander Schwing},
journal= {arXiv preprint arXiv:2204.07157},
year = {2022}
}
备注
Accepted by CVPR 2022 (Oral)