端到端一次性人体解析
计算机视觉与模式识别
2023-09-26 v3
摘要
以往的人体解析方法局限于将人体解析为预定义的类别，这对于经常包含新时尚物品类别的实际时尚应用而言不够灵活。本文定义了一项新颖的一次性人体解析（OSHP）任务，要求将人体解析为任意测试样本所定义的开放类别集合。训练阶段仅暴露基类，这些基类仅与测试时类别的一部分重叠。为应对 OSHP 中的三个主要挑战，即小尺寸、测试偏置和相似部位，我们设计了端到端一次性人体解析网络（EOP-Net）。首先，提出一种端到端人体解析框架，将查询图像解析为粗粒度与细粒度的人体类别，其中嵌入了跨不同粒度共享的丰富语义信息，以识别小尺寸人体类别。随后，我们逐步平滑训练时的静态原型，以获得鲁棒的类表示。此外，我们采用动态目标，在训练早期鼓励网络增强特征的表征能力，而在训练后期提升特征的可迁移性。因此，我们的方法能够快速适应新类别并缓解测试偏置问题。另外，我们在原型层级加入对比损失以拉大类间距离，从而区分相似部位。为对新任务进行全面评估，我们将三个现有流行的人体解析基准定制为 OSHP 任务。实验表明，EOP-Net 大幅优于代表性的一次性分割模型，并可作为进一步研究的强基线。源代码见 https://github.com/Charleshhy/One-shot-Human-Parsing。
引用
@article{arxiv.2105.01241,
title = {End-to-end One-shot Human Parsing},
author = {Haoyu He and Bohan Zhuang and Jing Zhang and Jianfei Cai and Dacheng Tao},
journal= {arXiv preprint arXiv:2105.01241},
year = {2023}
}
备注
Accepted to IEEE Trans. Pattern Analysis and Machine Intelligence (TPAMI)