UniHCP：一种用于以人为中心感知的统一模型
计算机视觉与模式识别
2023-06-23 v4
摘要
以人为中心的感知（如姿态估计、人体解析、行人检测、行人重识别等）在视觉模型的工业应用中起着关键作用。尽管特定的以人为中心任务各有其需要关注的语义方面，但它们也共享人体相同的底层语义结构。然而，很少有工作尝试利用这种同质性并设计用于以人为中心任务的通用模型。在本工作中，我们重新审视了广泛的以人为中心任务，并以极简方式对其进行了统一。我们提出了 UniHCP，一种用于以人为中心感知的统一模型，它以简化的端到端方式、采用plain vision transformer架构统一了广泛的以人为中心任务。通过在 33 个以人为中心的数据集上进行大规模联合训练，UniHCP 通过直接评估可在多个领域内和下游任务上超越强基线。当适配到特定任务时，UniHCP 在广泛的以人为中心任务上取得了新的 SOTA，例如：在人体解析 CIHP 上达到 69.8 mIoU，在属性预测 PA-100K 上达到 86.18 mA，在 ReID 的 Market1501 上达到 90.3 mAP，在行人检测 CrowdHuman 上达到 85.8 JI，性能优于为每个任务量身定制的专用模型。
引用
@article{arxiv.2303.02936,
title = {UniHCP: A Unified Model for Human-Centric Perceptions},
author = {Yuanzheng Ci and Yizhou Wang and Meilin Chen and Shixiang Tang and Lei Bai and Feng Zhu and Rui Zhao and Fengwei Yu and Donglian Qi and Wanli Ouyang},
journal= {arXiv preprint arXiv:2303.02936},
year = {2023}
}
备注
Accepted for publication at the IEEE/CVF Conference on Computer Vision and Pattern Recognition 2023 (CVPR 2023)