面向人体实例的以对象为中心多任务学习
计算机视觉与模式识别
2023-03-14 v1
摘要
人是视觉识别任务（如检测、分割和姿态估计）中最基本的一类目标。尽管针对单个任务已投入大量研究，但这三个任务的多任务学习却鲜有探讨。本文探索了一种紧凑的多任务网络架构，通过以对象为中心的学习最大化地共享多个任务的参数。为此，我们提出了一种新颖的查询设计，称为以人为中心的查询（human-centric query, HCQ），以有效编码人体实例信息。HCQ使查询能够学习人体显式且结构化的信息（如关键点）。此外，我们直接在目标任务的预测头中使用HCQ，并将HCQ与Transformer解码器中的可变形注意力交织，以利用良好学习的以对象为中心的表示。实验结果表明，所提出的多任务网络在人体检测、分割和姿态估计任务中取得了与最先进的任务专用模型相当的精度，同时计算开销更低。
引用
@article{arxiv.2303.06800,
title = {Object-Centric Multi-Task Learning for Human Instances},
author = {Hyeongseok Son and Sangil Jung and Solae Lee and Seongeun Kim and Seung-In Park and ByungIn Yoo},
journal= {arXiv preprint arXiv:2303.06800},
year = {2023}
}