FoR-SALE：基于 LLM 的扩散编辑中的参照系引导空间调整

参照系（FoR）是空间推理中的基本概念，人类利用它来理解和描述空间。随着多模态语言模型的快速发展，现在是时候将这一长期被忽视的维度整合到这些模型中。特别是在文本到图像（T2I）生成中，即使是最先进的模型在从相机以外的视角提供空间描述时也表现出显著的性能差距。为解决这一局限，我们提出了 FoR-SALE（参照系引导的 LLM 扩散编辑空间调整），它是 T2I 的自纠错 LLM 控制扩散（SLD）框架的扩展。FoR-SALE 评估给定文本与初始生成图像之间的对齐程度，并根据空间表达式中指定的参照系对图像进行细化。它利用视觉模块提取图像的空间配置，同时将空间表达式映射到相应的相机视角。这一统一的视角实现了语言与视觉之间对齐的直接评估。当检测到不对齐时，生成并应用所需的编辑操作。FoR-SALE 采用新颖的潜在空间操作来调整生成图像的朝向和深度。我们在两个专门设计用于评估 FoR 空间理解的基准上评估了 FoR-SALE。我们的框架仅通过单轮修正就将最先进 T2I 模型的性能提升了最多 5.3%。