基于文本指令的拓扑保持图像编辑 (TPIE)
计算机视觉与模式识别
2024-11-27 v1
摘要
在现实世界应用中，尤其是在医疗和医学等敏感领域，保持拓扑结构的正确性至关重要，因人类解剖结构的正确性至关重要。然而，大多数现有图像编辑模型专注于操作强度和纹理特征，往往忽视图像中的物体几何结构。为此，本文引入了一种新方法，基于文本指令的拓扑保持图像编辑 (TPIE)，首次通过文本引导的生成扩散模型确保编辑后图像的拓扑结构和几何结构完整保留。具体而言，我们的方法将新生成的样本视为给定输入模板的可变形变化，允许进行可控且结构保持的编辑。我们提出的 TPIE 框架由两个关键模块组成：(i) 基于自编码器的配准网络，从成对的训练图像中学习物体变换的隐表示，该隐表示由速度场参数化；以及 (ii) 一种新的潜在条件几何扩散 (LCDG) 模型，高效地捕获基于自定义定义的文本指令所学习变换特征的数据分布。我们在多样化的 2D 和 3D 图像上对 TPIE 进行了验证，并与最先进的图像编辑方法进行了比较。实验结果表明，我们的方法在生成更真实的图像并保持拓扑结构方面优于其他基线方法。我们的代码将在 Github 上公开发布。
引用
@article{arxiv.2411.16714,
title = {TPIE: Topology-Preserved Image Editing With Text Instructions},
author = {Nivetha Jayakumar and Srivardhan Reddy Gadila and Tonmoy Hossain and Yangfeng Ji and Miaomiao Zhang},
journal= {arXiv preprint arXiv:2411.16714},
year = {2024}
}