自然环境下的指代人体姿态与掩码估计
计算机视觉与模式识别
2024-10-29 v1 人机交互
摘要
我们引入了自然环境下的指代人体姿态与掩码估计（R-HPM）任务，其中通过文本或位置提示来指定图像中的目标人物。这一新任务对于以人为中心的应用（如辅助机器人和运动分析）具有巨大潜力。与以往工作不同，R-HPM (i) 确保生成与所指代人物相对应的高质量、具有身份感知的结果，并且 (ii) 同时预测人体姿态和掩码以实现全面表征。为实现这一目标，我们引入了一个名为 RefHuman 的大规模数据集，该数据集通过添加文本和位置提示标注对 MS COCO 数据集进行了大幅扩展。RefHuman 包含超过 50,000 个自然环境下的标注实例，每个实例均配有关键点、掩码和提示标注。为实现基于提示的估计，我们提出了首个用于 R-HPM 的端到端可提示方法 UniPHD。UniPHD 提取多模态表征，并采用所提出的以姿态为中心的分层解码器处理（文本或位置）实例查询和关键点查询，生成特定于所指代人物的结果。大量实验表明，UniPHD 基于用户友好的提示生成高质量结果，并在 RefHuman 验证集和 MS COCO val2017 上取得了顶尖性能。数据与代码：https://github.com/bo-miao/RefHuman
引用
@article{arxiv.2410.20508,
title = {Referring Human Pose and Mask Estimation in the Wild},
author = {Bo Miao and Mingtao Feng and Zijie Wu and Mohammed Bennamoun and Yongsheng Gao and Ajmal Mian},
journal= {arXiv preprint arXiv:2410.20508},
year = {2024}
}
备注
Accepted by NeurIPS 2024. https://github.com/bo-miao/RefHuman