Interact-Custom: 定制化人机交互图像生成
计算机视觉与模式识别
2025-08-29 v2 人工智能
摘要
组合式定制图像生成旨在定制生成内容中的多个目标概念，因其广泛应用而受到关注。现有方法主要集中于目标实体的外观保持，而忽略了目标实体之间的细粒度交互控制。为使模型具备这种交互控制能力，我们聚焦于人机交互场景，提出了定制化人机交互图像生成(CHOI)任务，该任务同时要求对目标人-物保持身份保持以及它们之间的交互语义控制。CHOI存在两个主要挑战：(1)同时的身份保持和交互控制需求要求模型将人-物分解为自包含的身份特征和面向姿态的交互特征，而当前的HOI图像数据集无法为此类特征分解学习提供理想样本。(2)人与物之间不适当的空间配置可能导致缺乏期望的交互语义。为解决这些问题，我们首先处理一个大规模数据集，其中每个样本包含同一对人-物涉及不同交互姿态的样本。然后我们设计了一个两阶段模型Interact-Custom，它首先通过生成描绘交互行为的前景掩码显式建模空间配置，然后在该掩码的引导下生成保持其身份特征的目标人-物交互。此外，如果提供了背景图像和目标人-物应出现的联合位置，Interact-Custom还提供可选功能来指定它们，提供高内容可控性。在CHOI任务的定制指标上的广泛实验证明了我们方法的有效性。
引用
@article{arxiv.2508.19575,
title = {Interact-Custom: Customized Human Object Interaction Image Generation},
author = {Zhu Xu and Zhaowen Wang and Yuxin Peng and Yang Liu},
journal= {arXiv preprint arXiv:2508.19575},
year = {2025}
}