GUIDE：实时的类人智能体
机器学习
2024-10-22 v1 人机交互
摘要
近期机器学习的快速发展得益于不断增强的模型、日益丰富的训练数据和计算资源。然而，在时间受限且学习信号稀疏的实时决策任务中仍面临挑战。通过利用人类指导来加速智能体的学习速度和性能是一种提升方法。本文介绍了 GUIDE，这是一个实现实时人类指导强化学习的框架，通过持续的人类反馈并将其转化为稠密奖励来加速策略学习。此外，我们的方法具备一种模拟反馈模块，能够在线学习并复制人类反馈模式，从而有效减少对人类输入的需求，同时允许持续训练。我们在稀疏奖励和视觉观察的具有挑战性的任务上展示了该框架的性能。包含 50 名受试者的人类研究提供了该方法有效性的强有力的定量和定性证据。仅通过 10 分钟的人类反馈，我们的算法相对于其 RL 基线实现了最高 30% 的成功率提升。
引用
@article{arxiv.2410.15181,
title = {GUIDE: Real-Time Human-Shaped Agents},
author = {Lingyu Zhang and Zhengran Ji and Nicholas R Waytowich and Boyuan Chen},
journal= {arXiv preprint arXiv:2410.15181},
year = {2024}
}