以人为中心的关系分割：数据集与解决方案
计算机视觉与模式识别
2021-05-26 v2
摘要
视觉与语言理解技术已取得显著进展，但目前仍难以妥善处理涉及极细粒度细节的问题。例如，当机器人被告知“把女孩左手里的书拿给我”时，若女孩左右手各持一本书，现有多数方法会失效。本文引入一项新任务——以人为中心的关系分割（HRS），作为 HOI 检测的细粒度情形。HRS 旨在预测人与周围实体间的关系，并识别关系相关的人体部位，以像素级掩码表示。对上述示例，我们的 HRS 任务以关系三元组 <女孩 [左手], 持, 书> 形式输出结果，并提取书的分割掩码，机器人可借此轻松完成抓取任务。相应地，我们为该新任务收集了新的人体在情境中（PIC）数据集，包含 17,122 张高分辨率图像，并密集标注了实体分割与关系，涵盖 141 个物体类别、23 个关系类别与 25 个语义人体部位。我们还提出一种同步匹配与分割（SMS）框架作为 HRS 任务的解决方案。三个分支的输出被融合以产生最终 HRS 结果。在 PIC 与 V-COCO 数据集上的大量实验表明，所提 SMS 方法以 36 FPS 推理速度优于基线。
引用
@article{arxiv.2105.11168,
title = {Human-centric Relation Segmentation: Dataset and Solution},
author = {Si Liu and Zitian Wang and Yulu Gao and Lejian Ren and Yue Liao and Guanghui Ren and Bo Li and Shuicheng Yan},
journal= {arXiv preprint arXiv:2105.11168},
year = {2021}
}
备注
Accepted by TPAMI 2021