自由形式场景编辑器：实现如同在3D引擎中的多轮物体操作
计算机视觉与模式识别
2025-11-18 v1
摘要
文本到图像（T2I）扩散模型的最新进展显著改善了语义图像编辑，但大多数方法在实现3D感知的物体操作方面仍有不足。在这项工作中，我们提出了FFSE，一个3D感知的自回归框架，旨在直接在真实世界图像上实现直观、物理一致的物体编辑。与以往在图像空间中操作或需要缓慢且易出错的3D重建的方法不同，FFSE将编辑建模为一系列学习到的3D变换，允许用户执行任意操作，如平移、缩放和旋转，同时保留逼真的背景效果（例如阴影、反射），并在多轮编辑中保持全局场景一致性。为了支持多轮3D感知物体操作的学习，我们引入了3DObjectEditor，这是一个由跨多种物体和场景的模拟编辑序列构建的混合数据集，能够在多轮和动态条件下进行有效训练。大量实验表明，所提出的FFSE在单轮和多轮3D感知编辑场景中均显著优于现有方法。
引用
@article{arxiv.2511.13713,
title = {Free-Form Scene Editor: Enabling Multi-Round Object Manipulation like in a 3D Engine},
author = {Xincheng Shuai and Zhenyuan Qin and Henghui Ding and Dacheng Tao},
journal= {arXiv preprint arXiv:2511.13713},
year = {2025}
}
备注
AAAI 2026, Project Page: https://henghuiding.com/FFSE/