用于时尚关键点检测的布局图推理

为多样服装检测密集关键点，作为服装分析的基础技术，因其巨大应用潜力已吸引越来越多研究关注。然而，由于缺乏对地标间潜在语义布局约束的建模，已有工作常检测出一人身上多件重叠服装的模糊且结构不一致的地标。本文提出通过多个堆叠的布局图推理层，在中间表征上无缝施加地标间的结构布局关系。我们将布局图定义为包含根节点、身体部位节点（如上身、下身）、粗粒度服装部件节点（如衣领、袖子）和叶地标节点（如左领、右领）的层次结构。每个布局图推理（LGR）层旨在通过 Map-to-Node 模块将特征表征映射为结构图节点，通过布局图推理模块在结构图节点上执行推理以实现全局布局一致性，然后通过 Node-to-Map 模块将图节点映射回以增强特征表征。布局图推理模块集成图聚类操作以生成中间节点表征（自底向上推断），然后对整个图执行图反卷积操作（自顶向下推断）。在两个公开时尚地标数据集上的大量实验证明了我们模型的优越性。此外，为推动细粒度时尚地标研究以支持更全面的服装生成与属性识别，我们贡献了首个细粒度时尚地标数据集（FFLD），包含 20 万张图像，标注了最多 32 个关键点，涵盖 13 种服装类型。