一种用于具身AI可泛化操作技能的两阶段微调策略
人工智能
2024-01-03 v1
摘要
Chat-GPT 的出现引发了具身AI（Embodied AI）的研究热潮。然而，许多现有的具身AI模型严重依赖与训练环境的大量交互，这在实际场景中可能并不现实。为此，ManiSkill2 引入了一个用于操控各种 3D 物体的全物理仿真基准。该基准使智能体能够使用多样化的演示数据集进行训练，并评估其泛化到测试环境中未见场景的能力。本文提出一种新颖的两阶段微调策略，旨在基于 ManiSkill2 基准进一步增强模型的泛化能力。通过大量实验，我们证明了方法的有效性，在 ManiSkill2 挑战赛的三个赛道中均获得第一名。我们的发现凸显了该方法提升具身AI模型泛化能力的潜力，并为其在实际场景中的实用化应用铺平了道路。我们方案的所有代码和模型可在 https://github.com/xtli12/GXU-LIPE.git 获取。
引用
@article{arxiv.2307.11343,
title = {A Two-stage Fine-tuning Strategy for Generalizable Manipulation Skill of Embodied AI},
author = {Fang Gao and XueTao Li and Jun Yu and Feng Shaung},
journal= {arXiv preprint arXiv:2307.11343},
year = {2024}
}
备注
5 pages, 2 figures, 5 tables, accept by Robotics: Science and Systems 2023 - Workshop Interdisciplinary Exploration of Generalizable Manipulation Policy Learning:Paradigms and Debates