Chat2Layout：基于多模态大语言模型的交互式3D家具布局
计算机视觉与模式识别
2024-08-01 v1
摘要
自动家具布局长期以来备受室内设计的青睐。利用多模态大语言模型（MLLM）卓越的视觉推理能力，近期方法以静态方式处理布局生成，缺乏交互式用户参与所需的反馈驱动优化。我们引入了Chat2Layout，一个新颖的交互式家具布局生成系统，将MLLM的功能扩展到交互式布局设计领域。为此，我们建立了用于上下文学习的统一视觉-问答范式，使MLLM能够无缝通信以引导其行为而无需修改模型权重。在该框架中，我们提出了一种无需训练的视觉提示机制。该机制包括一种辅助MLLM推理合理布局计划的视觉-文本提示技术，随后是一种离线到在线搜索（O2O-Search）方法，可自动识别提供视觉-文本提示示例所需的最小信息参考集。通过采用以MLLM为核心控制器的智能体系统，我们实现了双向交互。该智能体不仅通过语言和视觉感知理解3D环境和用户需求，还能规划任务并推理动作以在虚拟空间中生成和排列家具。此外，智能体根据执行结果的视觉反馈进行迭代更新。实验结果表明，我们的方法促进了多样且复杂的3D家具的语言交互式生成与排列。
引用
@article{arxiv.2407.21333,
title = {Chat2Layout: Interactive 3D Furniture Layout with a Multimodal LLM},
author = {Can Wang and Hongliang Zhong and Menglei Chai and Mingming He and Dongdong Chen and Jing Liao},
journal= {arXiv preprint arXiv:2407.21333},
year = {2024}
}
备注
Main paper with supplemental materials