AlignBot：通过微调实现 VLM 驱动的定制化任务规划与用户提醒的对齐（用于家庭机器人）
机器人学
2025-03-24 v2 人工智能
信息检索
摘要
本文提出了 AlignBot—a 一种新型框架，用于通过有效对齐用户提醒来优化 VLM 驱动的定制化任务规划。 在家庭环境中，与用户提醒对齐任务规划面临显著挑战，由于提醒数量有限、种类多样且具有多模态特征。 为解决这些挑战，AlignBot 使用微调的 LLaVA-7B 模型作为 GPT-4o 的适配器。该适配器模型内化了各种用户提醒形式——包括个人化偏好、纠正性指导和情境性帮助——为结构化的指令格式提示符。此外，AlignBot 集成了动态检索机制，用于选择与任务相关的历史成功案例作为 GPT-4o 的提示，从而进一步提高任务规划准确性。为验证 AlignBot 的有效性，在构建的真实家庭环境中进行了实验，这些环境在实验室中模拟典型家庭场景。使用从志愿者提醒中派生的拥有 1500 多条条目的多模态数据集进行训练和评估。结果表明，AlignBot 显著改进了定制化任务规划，凭借解释和对齐用户提醒的能力， outperformed 现有的基于 LLM 和 VLM 的规划器，实现了 86.8% 的成功率，而 vanilla GPT-4o 基线仅为 21.6%，体现了 65% 的改进幅度和超过 4 倍的效果提升。补充材料可在 https://yding25.com/AlignBot/ 查看。
引用
@article{arxiv.2409.11905,
title = {AlignBot: Aligning VLM-powered Customized Task Planning with User Reminders Through Fine-Tuning for Household Robots},
author = {Zhaxizhuoma Zhaxizhuoma and Pengan Chen and Ziniu Wu and Jiawei Sun and Dong Wang and Peng Zhou and Nieqing Cao and Yan Ding and Bin Zhao and Xuelong Li},
journal= {arXiv preprint arXiv:2409.11905},
year = {2025}
}