最近邻未来描述：用于对象放置任务中可能碰撞的生成描述
机器人学
2024-07-19 v1
摘要
许多家庭服务机器人 (DSR) 被广泛用于支持日常环境中的人类，但其预测和描述自身动作导致未来风险的能力仍不足。本研究聚焦于 DSR 的语言可解释性。大多数现有方法未显式建模可能的碰撞区域，因此无法正确生成这些区域的描述。本文提出了最近邻未来描述模型，该模型引入最近邻语言模型用于可能碰撞的未来描述生成，通过最近邻检索机制增强模型输出。此外，我们引入碰撞注意力模块，以注意可能的碰撞区域，从而使模型能够生成能充分反映可能碰撞对象关联的描述。为验证我们的方法，我们构建了一个包含 DSR 在模拟环境中放置物体时可能发生碰撞样本的新数据集。实验结果表明，我们的方法在标准指标上优于基线方法。特别地，基线方法在 CIDEr-D 上获得 25.09 分，而我们的方法获得 33.08 分。
引用
@article{arxiv.2407.13186,
title = {Nearest Neighbor Future Captioning: Generating Descriptions for Possible Collisions in Object Placement Tasks},
author = {Takumi Komatsu and Motonari Kambara and Shumpei Hatanaka and Haruka Matsuo and Tsubasa Hirakawa and Takayoshi Yamashita and Hironobu Fujiyoshi and Komei Sugiura},
journal= {arXiv preprint arXiv:2407.13186},
year = {2024}
}
备注
Accepted for presentation at Advanced Robotics 24