询问智能体：通过认知不确定性估计提升采样效率
机器学习
2022-10-07 v1 人工智能
摘要
面向目标条件强化学习智能体的课程通常依赖于对智能体认知不确定性的较差估计，或完全未考虑智能体的认知不确定性，导致采样效率低下。我们提出一种新算法 Query The Agent (QTA)，其通过估计智能体在整个状态空间中的认知不确定性并在高不确定性区域设置目标，显著提升了采样效率。鼓励智能体在高不确定性状态中收集数据，使其能快速改进对价值函数的估计。QTA 利用一种用于估计认知不确定性的新技术——预测不确定性网络（PUN），以使 QTA 能评估智能体在所有先前观测状态中的不确定性。我们证明 QTA 相较已有方法具有决定性的采样效率提升。
引用
@article{arxiv.2210.02585,
title = {Query The Agent: Improving sample efficiency through epistemic uncertainty estimation},
author = {Julian Alverio and Boris Katz and Andrei Barbu},
journal= {arXiv preprint arXiv:2210.02585},
year = {2022}
}
备注
Submitted to ICLR 2023