Neural Scene Designer：自风格语义图像操控
计算机视觉与模式识别
2025-09-03 v1
摘要
保持风格一致性对于图像的连贯性和美感至关重要，这也是有效图像编辑和修复的基本要求。然而，现有方法主要关注生成内容的语义控制，往往忽略了保持这种一致性的关键任务。在本工作中，我们引入了 Neural Scene Designer (NSD)，这是一种新颖的框架，能够对用户指定的场景区域进行逼真的操控，同时确保既符合用户意图的语义对齐，又与周围环境保持风格一致性。NSD 利用先进的扩散模型，结合了两个并行的交叉注意力机制，分别处理文本和风格信息，以实现语义控制和风格一致性的双重目标。为了捕捉细粒度的风格表示，我们提出了渐进式自风格表示学习（PSRL）模块。该模块基于一个直观前提：单张图像内的不同区域共享一致的风格，而来自不同图像的区域则表现出不同的风格。PSRL 模块采用风格对比损失，鼓励同一图像的表示之间具有高相似性，同时强制不同图像的表示之间具有不相似性。此外，为了解决该任务缺乏标准化评估协议的问题，我们建立了一个全面的基准测试。该基准测试包含竞争算法、专用的风格相关指标以及多样化的数据集和设置，以促进公平比较。在我们的基准测试上进行的大量实验证明了所提框架的有效性。
引用
@article{arxiv.2509.01405,
title = {Neural Scene Designer: Self-Styled Semantic Image Manipulation},
author = {Jianman Lin and Tianshui Chen and Chunmei Qing and Zhijing Yang and Shuangping Huang and Yuheng Ren and Liang Lin},
journal= {arXiv preprint arXiv:2509.01405},
year = {2025}
}