面向一般三维形状在线装箱的可物理实现技能学习

我们研究了不规则三维形状在线装箱技能的学习问题，这可以说是装箱问题中最具挑战性的设定。目标是将一系列任意形状的三维物体连续地移入指定容器中，且仅能部分观测物体序列。同时，我们考虑了物理可实现性，涉及放置的物理动力学与约束。装箱策略应理解待装箱物体的三维几何，并以物理可实现的方式做出有效决策将其安置于容器中。我们提出了一种强化学习（RL）流水线来学习该策略。复杂的不规则几何与不完美的物体放置共同导致了巨大的解空间。在此空间中直接训练需要极大量的数据。我们转而提出一种理论可证明的候选动作生成方法，以缩减 RL 的动作空间与学习负担。随后学习一个参数化策略从候选中选取最佳放置。配备高效的异步 RL 加速方法与仿真就绪训练序列的数据准备流程，成熟的装箱策略可在基于物理的环境中于 48 小时内训练完成。通过对多种真实形状数据集的广泛评估以及与最先进基线的比较，我们证明在所有数据集上，我们的方法在装箱利用率方面至少优于最佳基线 12.8%。