Lang2Lift：面向户外工业托盘搬运的语言引导自主叉车系统

在户外物流和施工环境中实现托盘搬运仍具有挑战性，因为存在场景不规则、托盘配置变化以及环境条件变化等问题。本文提出了 Lang2Lift，一个面向实际户外场景的端到端语言引导自主叉车系统，旨在支持实用托盘提举操作。该系统允许运营人员通过自然语言指令指定目标托盘，从而在多个具有不同载荷和空间布局的托盘中进行灵活选择。Lang2Lift 将基于基础模型的感知模块与运动规划和控制集成于闭环自主管线中。采用语言驱动的视觉感知用于识别和分割目标托盘，随后进行6D姿态估计和几何细化，以生成可实现的插入姿态。最终得到的姿态估计直接与叉车规划和控制模块耦合，以执行完全自主的托盘提举机动。我们在ADAPT自主户外叉车平台上部署并评估了该系统，涵盖了各种实际场景，包括堆积场景、变化光照以及不同载荷配置。容差姿态评估进一步表明该姿态估计足以成功实现叉车插入。时间和故障分析揭示了关键部署权衡和实际限制，为在工业自动化系统中集成语言引导感知提供了见解。视频演示可在 https://eric-nguyen1402.github.io/lang2lift.github.io/ 查看。