PRISM：基于场景图的渐进式复原图像操控
机器学习
2023-11-07 v1
摘要
场景图已成为图像生成与操控任务的精确描述性先验，然而数据中物体形状与关系的复杂性和多样性使得将其融入模型并生成高质量结果具有挑战性。为应对这些挑战，我们提出 PRISM，一种新颖的渐进式多头图像操控方法，以提升场景中操控区域的精度与质量。我们的图像操控框架使用端到端去噪掩码重建代理任务进行训练，其中掩码区域从外缘区域到内部逐步解除掩码。我们利用掩码区域的外缘部分，因为它们与场景上下文有直接关联。此外，我们的多头架构在生成整幅图像的同时生成详细的物体特定区域，以产生更高质量的图像。我们的模型在 CLEVR 和 Visual Genome 数据集的语义图像操控任务上优于最先进的方法。我们的结果展示了该方法在提升基于场景图的图像操控质量与精度方面的潜力。
引用
@article{arxiv.2311.02247,
title = {PRISM: Progressive Restoration for Scene Graph-based Image Manipulation},
author = {Pavel Jahoda and Azade Farshad and Yousef Yeganeh and Ehsan Adeli and Nassir Navab},
journal= {arXiv preprint arXiv:2311.02247},
year = {2023}
}