从物体形状推断并利用部件以提升语义图像合成
计算机视觉与模式识别
2023-06-01 v1
摘要
尽管语义图像合成取得了进展，从输入语义图生成照片级真实的部件仍是一个具有挑战性的问题。整合部件分割图无疑有益于图像合成，但由用户提供则繁琐不便。为改进部件合成，本文提出从物体形状推断部件（iPOSE）并利用其提升语义图像合成。然而，尽管已有若干部件分割数据集，语义图像合成中许多物体类别仍缺乏部件标注。为此，我们借助少样本范式，在预定义支持部件图的引导下学习 PartNet 以预测物体部件图。当提供该类别少量（如 3 张）支持部件图时，PartNet 可轻松泛化以处理新物体类别。此外，提出部件语义调制，将推断的部件图与语义图共同纳入图像合成。实验表明，我们的 iPOSE 不仅生成具有丰富部件细节的物体，还能灵活控制图像合成。并且在定量与定性评估上，我们的 iPOSE 优于当前最优方法。我们的代码将公开于 https://github.com/csyxwei/iPOSE。
引用
@article{arxiv.2305.19547,
title = {Inferring and Leveraging Parts from Object Shape for Improving Semantic Image Synthesis},
author = {Yuxiang Wei and Zhilong Ji and Xiaohe Wu and Jinfeng Bai and Lei Zhang and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2305.19547},
year = {2023}
}
备注
CVPR 2023. Code will be released at https://github.com/csyxwei/iPOSE