基于视觉世界模型的多任务交互式机器人集群学习
机器人学
2024-10-31 v1 人工智能
摘要
大规模多任务机器人学习的最新进展为在家庭和工业环境中部署机器人集群提供了潜力，使它们能够在各种环境中执行多样化的任务。然而，当暴露于现实世界的可变性和不确定性时，人工智能驱动的机器人常常面临泛化和鲁棒性的挑战。我们引入了 Sirius-Fleet，一个多任务交互式机器人集群学习框架来应对这些挑战。Sirius-Fleet 在部署期间监控机器人性能，并在必要时引入人类来纠正机器人的动作。我们采用视觉世界模型来预测未来动作的结果，并构建异常预测器来预测它们是否可能导致异常。随着机器人自主性的提高，异常预测器会自动调整其预测标准，从而减少对人类干预的请求，并随时间逐渐减轻人类工作负载。大规模基准测试上的评估证明了 Sirius-Fleet 在提高多任务策略性能和监控准确性方面的有效性。我们在模拟环境 RoboCasa 和真实世界 Mutex 这两个多样化的大规模多任务基准测试中展示了 Sirius-Fleet 的性能。更多信息可在项目网站上获得：https://ut-austin-rpl.github.io/sirius-fleet
引用
@article{arxiv.2410.22689,
title = {Multi-Task Interactive Robot Fleet Learning with Visual World Models},
author = {Huihan Liu and Yu Zhang and Vaarij Betala and Evan Zhang and James Liu and Crystal Ding and Yuke Zhu},
journal= {arXiv preprint arXiv:2410.22689},
year = {2024}
}
备注
In Proceedings of CoRL 2024