学习总结并回答关于虚拟机器人过往动作的问题
机器人学
2023-06-19 v1 人工智能
计算与语言
机器学习
摘要
当机器人执行长动作序列时，用户将希望轻松可靠地了解它们已完成的操作。因此我们展示了利用自然语言 alone 学习总结并回答关于机器人智能体过往动作问题的任务。一个以大型语言模型为核心、单一的系统被训练为既能总结又能回答关于动作序列的问题，给定虚拟机器人的自我中心视频帧与问题提示。为支持问答训练，我们开发了一种方法，可自动生成关于虚拟环境中机器人动作片段里物体、动作及动作发生时间顺序的英文问答。训练一个模型同时完成总结与问答，使得通过问答学习的物体表征能够零样本迁移至改进的动作总结（涉及训练中未见的物体）。
引用
@article{arxiv.2306.09922,
title = {Learning to Summarize and Answer Questions about a Virtual Robot's Past Actions},
author = {Chad DeChant and Iretiayo Akinola and Daniel Bauer},
journal= {arXiv preprint arXiv:2306.09922},
year = {2023}
}