VLM-Vac：通过 VLM 知识蒸馏与语言引导经验回放增强智能扫地机器人
机器人学
2024-09-24 v1
摘要
在本文中，我们提出了 VLM-Vac，这是一个旨在增强智能扫地机器人自主性的新框架。我们的方法将视觉语言模型（Vision-Language Model, VLM）的零样本目标检测能力与知识蒸馏（Knowledge Distillation, KD）策略相结合。通过利用 VLM，机器人能够将物体分类为可操作类别——避开或吸入——适用于各种背景环境。然而，频繁查询 VLM 在计算上代价高昂，且不适用于实际部署。为了解决这个问题，我们实施了 KD 过程，将 VLM 的核心知识逐步转移到更小、更高效的模型中。我们的真实世界实验表明，这个较小的模型逐步从 VLM 中学习，并且随着时间的推移所需的查询显著减少。此外，我们通过利用一种基于语言引导采样的新型经验回放方法，应对了动态家庭环境中持续学习的挑战。我们的结果表明，这种方法不仅节能，而且超越了传统的基于视觉的聚类方法，特别是在不同背景下检测小物体时表现突出。
引用
@article{arxiv.2409.14096,
title = {VLM-Vac: Enhancing Smart Vacuums through VLM Knowledge Distillation and Language-Guided Experience Replay},
author = {Reihaneh Mirjalili and Michael Krawez and Florian Walter and Wolfram Burgard},
journal= {arXiv preprint arXiv:2409.14096},
year = {2024}
}