DP-Adapter：用于提升人类图像生成质量和文本一致性的双路径适配器
图形学
2025-02-21 v1
摘要
随着个性化人类内容创建和分享的日益流行，对高级定制人类图像生成技术的需求日益增长。然而，当前方法在同时保持人类身份保真度和确保文本提示一致性方面存在挑战，常导致结果不理想。这一不足主要源于在视觉和文本提示的同时集成中缺乏有效约束，导致二者之间不健康的相互干扰，妨碍了两种输入类型的充分表达。基于先前研究表明视觉和文本条件以不同方式影响图像中不同区域的观察，我们引入一种新型双路径适配器(DP-Adapter)，以增强个性化人类图像生成中高保真身份保留和文本一致性。我们的方法首先将目标人类图像分解为视觉敏感区域和文本敏感区域。对于视觉敏感区域，DP-Adapter采用身份增强适配器(IEA)以保留详细身份特征。对于文本敏感区域，我们引入文本一致性适配器(TCA)，以最小化视觉干扰并确保文本语义的一致性。为无缝集成这些路径，我们开发了细粒度特征级融合(FFB)模块，有效组合两路径中来自不同层次的语义特征，产生更自然和连贯的合成结果。此外，DP-Adapter支持各种创新应用，包括可控的头像到全身人物画像生成、年龄编辑、旧照片到现实以及表情编辑。
引用
@article{arxiv.2502.13999,
title = {DP-Adapter: Dual-Pathway Adapter for Boosting Fidelity and Text Consistency in Customizable Human Image Generation},
author = {Ye Wang and Xuping Xie and Lanjun Wang and Zili Yi and Rui Ma},
journal= {arXiv preprint arXiv:2502.13999},
year = {2025}
}