一种面向自主智能体在未知情形下的在线数据驱动应急方法
机器学习
2021-12-20 v1 人工智能
机器人学
摘要
强化学习智能体在输入处于训练中所遇分布内时表现良好。然而，当面对新颖的、分布外事件时，它们无法有效响应，直到经历额外训练。本文提出一种在线、数据驱动的应急方法，旨在赋予自主智能体对与其训练或设计所针对情形极不相同的意外情况作出反应的能力。在此类情形中，由于这些新情形中获得的观测会落在智能体被优化以处理的输入分布之外，故无法期望学到的策略恰当执行。所提方法通过选择使变分自编码器的重建误差增长率最小化的动作，顺序地设计针对未知情形的定制响应。该优化使用改进的贝叶斯优化过程以数据高效的方式（约30个数据点量级）在线实现。我们在模拟的3D汽车驾驶场景中展示了该方法的潜力，其中智能体在2秒内设计响应以避免与训练期间未见的物体碰撞。
引用
@article{arxiv.2112.09670,
title = {An Online Data-Driven Emergency-Response Method for Autonomous Agents in Unforeseen Situations},
author = {Glenn Maguire and Nicholas Ketz and Praveen Pilly and Jean-Baptiste Mouret},
journal= {arXiv preprint arXiv:2112.09670},
year = {2021}
}