学习3D纹理感知表示用于解析多样化人体服装与身体部位

现有的人体解析方法通常使用固定的掩码类别和宽泛标签，这些标签掩盖了细致的服装类型。最近的开放词汇分割方法利用预训练的文本到图像（T2I）扩散模型特征实现强大的零样态迁移，但通常将整个人体归为单个"person"类别，无法区分多样化的服装或详细的身体部位。为此，我们提出Spectrum，一个用于部件级像素解析（身体部位和服装）和实例级分组的统一网络。虽然扩散基的开放词汇模型在任务上具有良好的泛化性，但其内部表示并不专为详细的人体解析而优化。我们观察到，与拥有广泛表示的扩散模型不同，基于图像的3D纹理生成器能够保持与输入图像的忠实对应，实现对解析多样化服装和身体部位的更强表示。Spectrum引入了一种新颖的Image-to-Texture（I2Tx）扩散模型的改造方法（通过在3D人体纹理图上微调T2I模型获得），以实现对身体部位和服装的更好对齐。从输入图像中，我们通过I2Tx扩散模型提取人体部位内部特征，并通过提示引导的grounding生成与多样化服装类别对齐的语义有效掩码。训练完成后，Spectrum为场景中任何数量的人体的可见的每个身体部位和服装类别生成语义分割图，忽略独立的服装或无关对象。我们进行了广泛的跨数据集实验，分别评估身体部位、服装部位、未见服装类别和全身掩码，证明Spectrum在基于提示的分割中始终优于基线方法。