ExT：面向可扩展自主挖掘机的大规模多任务预训练与微调
机器人学
2025-09-23 v2
摘要
可扩展部署自主挖掘机具有重要的经济和社会意义。然而，这仍是一个具有挑战性的问题，因为有效的系统必须能够稳健地处理未出现的工地条件和新的硬件配置。当前的最先进方法依赖于高度工程化的、针对特定任务的控制器，需要针对每个新情景进行大量的手动调参。在 contrast，最近在操纵和导航等领域取得的进展表明，大规模预训练模型在跨任务和跨 embodiment 的适应性方面显示出惊人的灵活性，但其在重型建筑机械领域的适用性仍然基本未被探索。本文介绍了 ExT，这是一个用于大规模示范收集、预训练和微调多任务挖掘策略的统一开源框架。ExT 策略首先在来自专家混合样本的大规模示范上进行训练，然后通过监督微调（SFT）或强化学习微调（RLFT）进行专业化，以适应新的任务或运行条件。通过仿真和实际实验，我们展示，预训练的 ExT 策略能够以厘米级精度执行完整的挖掘循环，并成功地从仿真 transferring 到实际机器，性能与专用单任务控制器相当。此外，在仿真中，我们展示，ExT 的微调管道允许快速适应新的任务、离分布条件和机器配置，同时保持对以前学习任务的强性能。这些结果突显了 ExT 作为可扩展和可泛化自主挖掘基础框架的潜力。
引用
@article{arxiv.2509.14992,
title = {ExT: Towards Scalable Autonomous Excavation via Large-Scale Multi-Task Pretraining and Fine-Tuning},
author = {Yifan Zhai and Lorenzo Terenzi and Patrick Frey and Diego Garcia Soto and Pascal Egli and Marco Hutter},
journal= {arXiv preprint arXiv:2509.14992},
year = {2025}
}