有界智能体的收敛性研究
机器学习
2023-07-21 v1 人工智能
摘要
一个智能体何时算作已收敛？强化学习问题的标准模型给出了直白的收敛定义：当智能体在每个环境状态中的行为或性能停止改变时，即称其收敛。然而，当我们将学习问题的焦点从环境状态转向智能体自身状态时，智能体收敛的概念变得远不明确。本文在以有界智能体为核心的强化学习问题框架下，提出两种互补的智能体收敛刻画。第一种观点称：当有界智能体描述其未来行为所需的最少状态数无法再减少时，该智能体已收敛。第二种观点称：仅当智能体内部状态改变时其性能才发生变化，此时有界智能体已收敛。我们确立了这两种定义的基本性质，表明它们容纳了标准设定下典型的收敛观点，并证明了有关其性质与关系的若干事实。我们借这些视角、定义与分析为该领域的一个核心思想带来澄清。
引用
@article{arxiv.2307.11044,
title = {On the Convergence of Bounded Agents},
author = {David Abel and André Barreto and Hado van Hasselt and Benjamin Van Roy and Doina Precup and Satinder Singh},
journal= {arXiv preprint arXiv:2307.11044},
year = {2023}
}