WAFFLE：野外环境下的多模态楼层平面图理解
计算机视觉与模式识别
2024-12-05 v2
摘要
建筑物是人类文化的核心要素，正逐渐被用于计算方法进行分析。然而，近期关于计算建筑理解的研究主要聚焦于自然建筑图像，忽略了决定建筑结构的基本要素——楼层平面图。相反，现有关于楼层平面图理解的研究范围极其有限，常仅针对特定语义类别和地区的楼层平面图（例如单一国家的公寓楼层平面图）。本文引入 WAFFLE，一个来自互联网数据、涵盖多样建筑类型、地点和数据格式，包含近 2 万张楼层平面图图像及其元数据的新型多模态楼层平面图理解数据集。通过利用大语言模型和多模态基础模型，我们从这些图像及其伴随的噪声元数据中进行策划和提取语义信息。我们展示，WAFFLE 使我们能够在此前数据集无法实现的新型建筑理解任务中取得进展，包括判别性和生成性任务。我们将公开发布 WAFFLE 及其代码和训练模型，为研究社区提供新的建筑语义学习基础。
引用
@article{arxiv.2412.00955,
title = {WAFFLE: Multimodal Floorplan Understanding in the Wild},
author = {Keren Ganon and Morris Alper and Rachel Mikulinsky and Hadar Averbuch-Elor},
journal= {arXiv preprint arXiv:2412.00955},
year = {2024}
}
备注
Accepted to WACV 2025. Project page: https://tau-vailab.github.io/WAFFLE/