HumanBench：面向通用以人为中心感知的投影器辅助预训练
计算机视觉与模式识别
2023-03-13 v1
摘要
以人为中心的感知包含多种视觉任务，在监控、自动驾驶和元宇宙等领域具有广泛的工业应用。人们期望有一个通用的预训练模型来应对多样的以人为中心下游任务。本文从基准和预训练方法两方面推进了这一路径。具体而言，我们基于现有数据集提出了\textbf{HumanBench}，以在共同基础上全面评估不同预训练方法在来自6类多样下游任务的19个数据集上的泛化能力，包括行人重识别、姿态估计、人体解析、行人属性识别、行人检测和人群计数。为学习人体中粗粒度和细粒度的知识，我们进一步提出了\textbf{P}rojector \textbf{A}ssis\textbf{T}ed \textbf{H}ierarchical预训练方法（\textbf{PATH}），以在不同粒度级别学习多样知识。在HumanBench上的全面评估表明，我们的PATH在17个下游数据集上取得了新的最先进结果，在其余2个数据集上取得了相当的结果。代码将公开于\href{https://github.com/OpenGVLab/HumanBench}{https://github.com/OpenGVLab/HumanBench}。
引用
@article{arxiv.2303.05675,
title = {HumanBench: Towards General Human-centric Perception with Projector Assisted Pretraining},
author = {Shixiang Tang and Cheng Chen and Qingsong Xie and Meilin Chen and Yizhou Wang and Yuanzheng Ci and Lei Bai and Feng Zhu and Haiyang Yang and Li Yi and Rui Zhao and Wanli Ouyang},
journal= {arXiv preprint arXiv:2303.05675},
year = {2023}
}
备注
Accepted to CVPR2023