HiLo：利用高低频关系实现无偏全景场景图生成
计算机视觉与模式识别
2023-08-21 v2 人工智能
摘要
全景场景图生成（PSG）是近期提出的图像场景理解任务，旨在分割图像并提取主体、对象及其关系的三元组以构建场景图。该任务尤其具有挑战性，原因有二。首先，其关系类别存在长尾问题，使得朴素的偏置方法更倾向于高频关系。现有的无偏方法通过数据/损失再平衡来偏向低频关系以应对长尾问题。其次，一个主体-对象对可能具有两个或更多语义重叠的关系。现有方法偏向其中之一，而我们提出的 HiLo 框架让不同的网络分支分别专精于低频和高频关系，强制其一致性并融合结果。据我们所知，我们是首个提出显式无偏 PSG 方法的工作。在大量实验中，我们表明 HiLo 框架在 PSG 任务上取得了最先进的结果。我们还将该方法应用于预测边界框而非掩码的场景图生成任务，并看到相对于所有基线方法的提升。代码见 https://github.com/franciszzj/HiLo。
引用
@article{arxiv.2303.15994,
title = {HiLo: Exploiting High Low Frequency Relations for Unbiased Panoptic Scene Graph Generation},
author = {Zijian Zhou and Miaojing Shi and Holger Caesar},
journal= {arXiv preprint arXiv:2303.15994},
year = {2023}
}
备注
ICCV 2023