PersonificationNet：使特定主体像人一样行动
计算机视觉与模式识别
2024-07-15 v1
摘要
最近，定制化生成具有重要潜力，该方法仅需3-5张用户提供的图像即可训练模型以合成指定主体的新图像。尽管后续应用增强了定制化生成的灵活性和多样性，但对给定主体以人类姿势行动的细粒度控制仍缺乏研究。本文提出了PersonificationNet，可控制指定主体（如卡通人物或玩偶）以与给定参考人物图像相同的姿势行动。它包含定制分支、姿势条件分支和结构对齐模块。具体而言，首先，定制分支模拟指定主体的外观。其次，姿势条件分支将人体结构信息传递给各类实例。最后，结构对齐模块在推理阶段在人类和指定主体之间建立结构鸿沟。实验结果表明，我们提出的PersonificationNet在性能上优于最新方法。
引用
@article{arxiv.2407.09057,
title = {PersonificationNet: Making customized subject act like a person},
author = {Tianchu Guo and Pengyu Li and Biao Wang and Xiansheng Hua},
journal= {arXiv preprint arXiv:2407.09057},
year = {2024}
}