MuTT：用于机器人技能的多模态轨迹变换器
机器人学
2024-08-23 v2 机器学习
摘要
高层机器人技能代表着机器人编程中日益流行的范式。然而，为特定任务配置技能参数仍然是手动且耗时的。现有的学习或优化这些参数的方法通常需要大量真实世界执行，或不适用于动态环境。为此，我们提出了 MuTT，一种新型编码器-解码器变换器架构，用于预测环境感知的机器人技能执行。值得注意的是，我们首次将视觉与轨迹融合，引入了新颖的轨迹投影。进一步地，我们说明 MuTT 在结合基于模型的机器人技能优化器时作为预测器的有效性。该方法在无需优化期间进行真实世界执行的情况下，针对当前环境优化机器人技能参数。 designed for compatibility with any representation of robot skills, MuTT demonstrates its versatility across three comprehensive experiments, showcasing superior performance across two different skill representations.
引用
@article{arxiv.2407.15660,
title = {MuTT: A Multimodal Trajectory Transformer for Robot Skills},
author = {Claudius Kienle and Benjamin Alt and Onur Celik and Philipp Becker and Darko Katic and Rainer Jäkel and Gerhard Neumann},
journal= {arXiv preprint arXiv:2407.15660},
year = {2024}
}