多模态融合学习用于机器人任务规划中的广义旅行商问题
人工智能
2026-03-23 v3 机器人学
摘要
有效且高效的任务规划对移动机器人至关重要，尤其是在仓库取货和环境监测等应用中。这些任务通常涉及从多个目标簇中选择一个位置，形成广义旅行商问题 (GTSP)，该问题在准确性和效率方面仍然具有挑战性。为此，我们提出了一种多模态融合学习 (MMFL) 框架，该框架利用图和图像表示两种互补的特征来捕获问题的不同方面，并学习一种能够实时生成高质量任务规划方案的策略。具体而言，我们首先引入一种基于坐标的图像构建器，将 GTSP 实例转换为具有空间信息的表示。随后，我们设计了一种自适应分辨率缩放策略以提高不同问题规模下的适应性，并开发了一种多模态融合模块，配备专用的瓶颈层，以有效集成几何和空间特征。广泛的实验表明，我们的 MMFL 方法在各种 GTSP 实例上显著优于 state-of-the-art 方法，同时保持满足实时机器人应用所需的计算效率。物理机器人测试进一步验证了其在实际场景中的实际有效性。
引用
@article{arxiv.2506.16931,
title = {Multimodal Fused Learning for Solving the Generalized Traveling Salesman Problem in Robotic Task Planning},
author = {Jiaqi Cheng and Mingfeng Fan and Xuefeng Zhang and Jingsong Liang and Yuhong Cao and Guohua Wu and Guillaume Adrien Sartoretti},
journal= {arXiv preprint arXiv:2506.16931},
year = {2026}
}
备注
14 pages, 6 figures, Proceedings of the Conference on Robot Learning (CoRL 2025)