渐进式一次性人体解析

现有人体解析模型局限于将人体解析为训练数据中预定义的类别，难以灵活泛化至未见类别，例如时尚分析中的新服饰。本文提出一个名为一次性人体解析（OSHP）的新问题，要求将人体解析为由任意单个参考样本定义的开放参考类别集合。训练时仅暴露训练集中定义的基础类别，其可与部分参考类别重叠。本文设计了一种新颖的渐进式一次性解析网络（POPNet）以应对两个关键挑战，即测试偏置与小尺寸问题。POPNet 由两个协作的度量学习模块组成，称为注意力引导模块与最近质心模块，可为基础类别学习代表性原型并在测试时快速将能力迁移至未见类别，从而减轻测试偏置。此外，POPNet 采用渐进式人体解析框架，能利用粗粒度父类的已学知识辅助识别细粒度子类，从而处理小尺寸问题。在专为 OSHP 定制的 ATR-OS 基准上的实验表明，POPNet 大幅优于其他代表性一次性分割模型并确立了强基线。源代码见 https://github.com/Charleshhy/One-shot-Human-Parsing。