SUGAMAN：基于标注学习与邻近语法的视障人士楼层平面图描述系统

在本文中，我们提出 SUGAMAN（基于语法与标注模型用于访问与导航的监督统一框架）。SUGAMAN 是一个印地语词，意为“从一个地方到另一个地方的便捷通道”。SUGAMAN 从给定的楼层平面图图像为视障人士合成文本描述。视障人士可使用 SUGAMAN 生成的文本描述在室内环境中导航。借助文本阅读软件，目标用户可了解建筑物内的房间及家具布置以进行导航。SUGAMAN 是首个描述楼层平面图并给出建筑物内无障碍移动方向的框架。我们在监督学习范式下从 $1355$ 个房间图像样本中学习 $5$ 类房间类别。这些学习到的标注被输入描述合成框架，以产生楼层平面图图像的整体描述。我们展示了多种监督分类器在房间学习上的性能。我们还提供了系统生成描述与人工撰写描述的对比分析。SUGAMAN 在具有挑战性的真实世界楼层平面图图像上取得了最先进的性能。本工作可应用于历史遗迹楼层平面图理解、建筑物稳定性分析和检索等领域。