PersonaHOI：轻松改进个性化人脸与人-物交互生成
计算机视觉与模式识别
2025-01-13 v1
摘要
我们提出了PersonaHOI，一个无需训练和微调的框架，它将通用的StableDiffusion模型与个性化人脸扩散模型融合，以生成身份一致的人-物交互图像。虽然现有的个性化人脸扩散模型已取得显著进展，但它们往往过度强调面部特征而牺牲全身一致性，PersonaHOI引入了一个由面向人-物交互文本输入引导的额外StableDiffusion分支。通过在个性化人脸扩散分支中引入交叉注意力约束以及在潜在和残差层面进行空间融合，PersonaHOI在保留个性化面部细节的同时确保了交互的非面部区域。实验通过一种新颖的交互对齐度量验证，展示了PersonaHOI卓越的真实感和可扩展性，为实用的个性化人脸与人-物交互生成树立了新标准。我们的代码将在https://github.com/JoyHuYY1412/PersonaHOI提供。
引用
@article{arxiv.2501.05823,
title = {PersonaHOI: Effortlessly Improving Personalized Face with Human-Object Interaction Generation},
author = {Xinting Hu and Haoran Wang and Jan Eric Lenssen and Bernt Schiele},
journal= {arXiv preprint arXiv:2501.05823},
year = {2025}
}