基于大语言模型的房间分段语义层次化
机器人学
2024-03-20 v1 计算机视觉与模式识别
摘要
本文介绍了一种基于大语言模型（LLMs）的房间分段语义层次化方法（SeLRoS），这是一种先进的语义房间分段技术，通过将大语言模型与传统基于二维地图的分段集成而实现。与之前仅关注室内环境几何分段的工作不同，我们的工作通过引入语义数据（包括对象识别和空间关系）来丰富分段地图，从而提升机器人导航能力。通过利用大语言模型，我们提供了一种新型框架，用于解释和组织每个分段区域的复杂信息，从而提高房间分段的准确性和语境相关性。此外，SeLRoS 通过采用语义评估方法来准确区分真实的房间分隔与由家具和分段不准确性产生的错误分隔，从而克服了现有算法的局限性。通过在30个不同的3D环境中应用，验证了SeLRoS的有效性。本工作的源代码和实验视频可在 https://sites.google.com/view/selros 查看。
引用
@article{arxiv.2403.12920,
title = {Semantic Layering in Room Segmentation via LLMs},
author = {Taehyeon Kim and Byung-Cheol Min},
journal= {arXiv preprint arXiv:2403.12920},
year = {2024}
}