渐进高效学习
机器学习
2023-10-23 v1 人工智能
人机交互
摘要
辅助 AI 智能体应能够快速习得新技能并适应用户新偏好。模仿学习与强化学习等传统框架无法支持此能力，因为它们仅支持低层级、低效的沟通形式。相比之下，人类通过定义并共享抽象意图以渐进高效的方式进行沟通。为在 AI 智能体中复现类似能力，我们开发了一种名为沟通高效交互学习（CEIL）的新颖学习框架。通过为学习智能体配备抽象的动态语言以及以最小沟通代价学习的内在动机，CEIL 导致了一种类人模式的出现，其中学习者和教导者通过交换愈发抽象的意图而渐进高效地沟通。CEIL 在具有长时序决策任务的 2D MineCraft 领域上展现出令人印象深刻的性能与沟通效率。在相同与教导者交互次数下，经 CEIL 训练的智能体快速掌握新任务，其绝对成功率分别比非层级与层级模仿学习高出至多 50% 与 20%。特别地，该框架在以人类语用沟通行为建模的教导者下表现稳健。
引用
@article{arxiv.2310.13004,
title = {Progressively Efficient Learning},
author = {Ruijie Zheng and Khanh Nguyen and Hal Daumé and Furong Huang and Karthik Narasimhan},
journal= {arXiv preprint arXiv:2310.13004},
year = {2023}
}