中文

通过从教师到学生的无数据知识迁移训练面向未见陌生环境的自定位模型

机器学习 2024-03-19 v1 人工智能 计算机视觉与模式识别 机器人学

摘要

当前最先进的自定位模型的一个典型假设是:目标工作空间中存在带标注的训练数据集。然而,当机器人在一般开放世界中行进时,这一假设并不总是成立。本研究引入了一种面向开放世界分布式机器人系统的新型训练方案。在我们的方案中,机器人(“学生”)可以向其在陌生地点遇到的其他机器人(“教师”)寻求指导。具体而言,从教师模型中重构出伪训练数据集,随后用于学生模型的持续学习。与典型的知识迁移方案不同,我们的方案对教师模型仅引入最低限度的假设,使其能够处理各种类型的开集教师,包括不合作、不可训练(例如图像检索引擎)和黑盒教师(即数据隐私)。我们不依赖现有方法中教师私有数据的可用性,而是提出利用在自定位任务中普遍成立的假设:“教师模型是一个自定位系统”,并将教师的自定位系统作为唯一可访问的通信通道进行复用。我们特别关注设计优秀的学生/提问者,使其与教师的互动能够产生有效的问答序列,用作学生自定位模型的伪训练数据集。应用于一般的递归知识蒸馏场景时,我们的方法表现出稳定且一致的性能提升。

关键词

引用

@article{arxiv.2403.10552,
  title  = {Training Self-localization Models for Unseen Unfamiliar Places via Teacher-to-Student Data-Free Knowledge Transfer},
  author = {Kenta Tsukahara and Kanji Tanaka and Daiki Iwata},
  journal= {arXiv preprint arXiv:2403.10552},
  year   = {2024}
}

备注

7 pages, 3 figures, technical report