Bi-LAT：基于双向控制的仿照学习，通过自然语言和动作分块使用Transformer
机器人学
2025-07-29 v2 人工智能
摘要
我们提出Bi-LAT，一种新型仿照学习框架，将双向控制与自然语言处理统一，以实现机器人操纵中精确的力度调节。Bi-LAT利用领袖-跟随式遥操作中关节位置、速度和扭矩数据，同时整合视觉与语言线索，以动态调整施加的力度。通过基于Transformer的多模态模型对人类指令（如"轻柔地抓住杯子"或"强力扭转海绵"）进行编码，Bi-LAT学习区分细微的力度要求。我们在（1）单手杯子堆叠场景中演示了Bi-LAT，机器人根据语言指令准确调节抓取力度；以及（2）双手扭转海绵任务中展示了其协调式力度控制能力。实验结果表明，Bi-LAT能够有效复现指令指定的力度水平，尤其在纳入SigLIP等语言编码器后表现更佳。我们的发现表明，将自然语言线索融入仿照学习具有潜力，为实现更直观和自适应的人机交互铺平了道路。获取其他材料，请访问：https://mertcookimg.github.io/bi-lat/
关键词
引用
@article{arxiv.2504.01301,
title = {Bi-LAT: Bilateral Control-Based Imitation Learning via Natural Language and Action Chunking with Transformers},
author = {Takumi Kobayashi and Masato Kobayashi and Thanpimon Buamanee and Yuki Uranishi},
journal= {arXiv preprint arXiv:2504.01301},
year = {2025}
}