你只学习一个查询：学习统一人类查询用于单阶段多人多任务以人为中心的感知
计算机视觉与模式识别
2024-07-16 v3
摘要
以人为中心的感知（例如检测、分割、姿态估计和属性分析）是计算机视觉领域的一个长期存在的问题。本文引入了一个统一且通用的框架（HQNet），用于单阶段多人多任务以人为中心的感知（HCP）。我们的方法核心是学习一种统一的人类查询表示，记为 Human Query，它捕获每个人的复杂实例级特征，并解耦复杂的多人场景。尽管不同的 HCP 任务已被单独充分研究，但由于缺乏全面的基准数据集，单阶段多任务 HCP 任务的学习在文献中尚未得到充分探索。为了填补这一空白，我们提出了 COCO-UniHuman 基准，以支持模型开发和全面评估。实验结果表明，所提出的方法在多任务 HCP 模型中实现了 SOTA 性能，并且与特定任务的 HCP 模型相比具有竞争力的性能。此外，我们的实验强调了 Human Query 对新 HCP 任务的适应性，从而证明了其强大的泛化能力。代码和数据可在 https://github.com/lishuhuai527/COCO-UniHuman 获取。
引用
@article{arxiv.2312.05525,
title = {You Only Learn One Query: Learning Unified Human Query for Single-Stage Multi-Person Multi-Task Human-Centric Perception},
author = {Sheng Jin and Shuhuai Li and Tong Li and Wentao Liu and Chen Qian and Ping Luo},
journal= {arXiv preprint arXiv:2312.05525},
year = {2024}
}
备注
Accepted to ECCV'2024