教导具身强化学习智能体：语言使用的信息量与多样性
计算与语言
2024-11-01 v1 人工智能
计算机视觉与模式识别
机器学习
机器人学
摘要
在现实场景中，期望具身智能体能够利用人类语言获取显性或隐性知识以完成学习任务。尽管近期取得了一些进展，大多数先前方法采用简单的低级指令作为语言输入，这可能无法反映自然的人类交流。如何融入丰富的语言使用来促进任务学习尚不明确。为解决这一问题，本文研究了不同类型的语言输入在促进强化学习（RL）具身智能体学习中的作用。具体而言，我们考察了不同水平的语言信息量（即对过去行为的反馈和未来指导）和多样性（即语言表达的变化）如何影响智能体的学习与推理。基于四个强化学习基准的实证结果表明，使用多样且信息丰富的语言反馈训练的智能体能够实现更强的泛化能力并快速适应新任务。这些发现凸显了语言使用在开放世界中教导具身智能体学习新任务的关键作用。项目网站：https://github.com/sled-group/Teachable_RL
引用
@article{arxiv.2410.24218,
title = {Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use},
author = {Jiajun Xi and Yinong He and Jianing Yang and Yinpei Dai and Joyce Chai},
journal= {arXiv preprint arXiv:2410.24218},
year = {2024}
}
备注
EMNLP 2024 Main. Project website: https://github.com/sled-group/Teachable_RL