SmartSpatial：增强稳定扩散模型的 3D 空间布局能力并引入新颖的 3D 空间评估框架
计算机视觉与模式识别
2025-02-25 v2 人工智能
摘要
稳定扩散模型在生成来自文本提示的照片逼真图像方面取得了显著进展，但常常在准确表示复杂空间布局时，尤其是涉及复杂 3D 关系的情形时，表现不足。为解决这一局限性，我们引入了 SmartSpatial，这是一种创新方法，不仅增强了稳定扩散的空间布局能力，还通过 3D aware 条件和注意力引导机制促进了 AI 辅助创意工作流程。SmartSpatial 包含深度信息注入和跨注意力控制，以确保对象放置精确，显著改善了空间准确性指标。在 SmartSpatial 的伴随下，我们提出了 SmartSpatialEval，一个综合性的评估框架，将计算空间准确性与定性艺术评估相结合。实验结果表明，SmartSpatial 在现有方法方面显著优于并设定了 AI 驱动艺术与创意领域空间忠诚度的新基准。
引用
@article{arxiv.2501.01998,
title = {SmartSpatial: Enhancing the 3D Spatial Arrangement Capabilities of Stable Diffusion Models and Introducing a Novel 3D Spatial Evaluation Framework},
author = {Mao Xun Huang and Brian J Chan and Hen-Hsen Huang},
journal= {arXiv preprint arXiv:2501.01998},
year = {2025}
}
备注
9 pages