GRPose：基于姿态先验学习图关系的人体图像生成
计算机视觉与模式识别
2024-12-30 v3
摘要
最近的扩散模型方法在各种控制信号(如姿态先验)下取得了人体图像生成的显著进展。然而，现有方法仍在生成高质量且姿态对齐一致的图像方面受限，导致输出不令人满意。本文提出一种框架，深入研究姿态先验的图关系，以为人体图像生成提供控制信息。主要思想是建立姿态先验与扩散模型潜在表示之间的图拓扑结构，以捕获不同姿态部件之间的内在关联。设计了Progressive Graph Integrator(PGI)，学习姿态先验与图结构的空间关系，采用分层策略于Adapter中逐步传播不同姿态部件间的信息。此外，引入基于预训练姿态估计网络的姿态感知损失，以最小化姿态差异。在Human-Art和LAION-Human数据集上进行的大量定性和定量实验明确显示，我们的模型相对于最新基准模型实现了显著的性能提升。代码已提供，访问地址为 \url{https://xiangchenyin.github.io/GRPose/}。
引用
@article{arxiv.2408.16540,
title = {GRPose: Learning Graph Relations for Human Image Generation with Pose Priors},
author = {Xiangchen Yin and Donglin Di and Lei Fan and Hao Li and Wei Chen and Xiaofei Gou and Yang Song and Xiao Sun and Xun Yang},
journal= {arXiv preprint arXiv:2408.16540},
year = {2024}
}
备注
Accepted at AAAI2025