基于对象-属性感知的机器人二货 Packing 框架

机器人二货 Packing 在电商和仓库等众多实际场景中发挥着重要作用。然而，现有工作主要关注考虑物体形状以优化 packing 紧凑性，忽视了如脆弱性、可食性和化学性质等人类在装箱时通常会考虑的物体属性。这篇论文提出了 OPA-Pack（Object-Property-Aware Packing 框架），这是第一个在规划物体 packing 时考虑物体属性的框架。技术层面，我们开发了一种新颖的对象属性识别方案，结合检索增强生成和链条推理，并为 1,032 个日常物体构建了一个带有对象属性注释的数据集。我们还构建 OPA-Net，旨在在separating incompatible object pairs and reduce pressure on fragile objects 的同时保持 packing 的紧凑性。 OPA-Net 包括用于对待 packing 的候选物体进行属性编码的属性嵌入层，以及用于跟踪已 packing 物体的脆弱性高度图和避免高度图。随后，我们设计了奖励函数并采用深度 Q 学习方案训练 OPA-Net。实验结果表明，OPA-Pack 在分离不兼容物体对的准确率提升至 95%（从 52% 提升），显著降低脆弱物体受力（降低 29.4%），同时保持良好的 packing 紧凑性。此外，我们在实际 packing 平台上展示了 OPA-Pack 的有效性，展示了其在实际场景中的实用性。