基于多任务学习的身体分割
计算机视觉与模式识别
2024-07-08 v1
摘要
身体分割是许多涉及人体图像的计算机视觉问题中的重要步骤，也是影响所有下游任务性能的关键组件之一。若干先前工作使用多任务模型利用不同任务间的相关性来提升分割性能，解决了该问题。基于此类方案的成功，我们在本文中提出一种用于人体分割/解析的新型多任务模型，其涉及三个任务，即 (i) 基于关键点的骨架估计，(ii) 密集姿态预测，以及 (iii) 人体身体分割。所提出的 Segmentation--Pose--DensePose 模型（简称 SPD）背后的主要思想是通过跨不同但相关任务共享知识来学习更好的分割模型。SPD 基于一个共享的深度神经网络骨干，其分支为三个任务特定的模型头，并使用多任务优化目标进行学习。该模型的性能通过在 LIP 和 ATR 数据集上的严格实验并与近期（最先进的）多任务身体分割模型进行比较来分析。我们还给出了全面的消融研究。我们的实验结果表明，所提出的多任务（分割）模型极具竞争力，并且额外任务的引入有助于提升整体分割性能。
引用
@article{arxiv.2212.06550,
title = {Body Segmentation Using Multi-task Learning},
author = {Julijan Jug and Ajda Lampe and Vitomir Štruc and Peter Peer},
journal= {arXiv preprint arXiv:2212.06550},
year = {2024}
}