互影响检测及其在强化学习过程中的考量
多智能体系统
2019-05-13 v1 人工智能
机器学习
摘要
自适应已被提出作为应对技术系统控制问题中复杂性的一种机制。自适应背后的一个主要驱动力是将传统的设计期决策转移到运行期，并由系统自身负责。为了应对不可预见的事件和条件，系统需要具备创造力——通常通过机器学习能力来实现。此类学习机制基于不同的知识来源。在自适应与自组织（SASO）系统领域中，用于强化目的的环境反馈可能是最突出的一种。然而，在此背景下，其他（子）系统对单个系统学习性能成功与否的影响大多被忽视。在本文中，我们提出一种新颖的方法论，用于识别共享环境中其他系统所执行动作对自主系统效用达成的影响。以智能摄像头（SC）为例进行说明：对于诸如物体三维重建等目标，单个 SC 在平移/倾斜/缩放参数方面最有前景的配置在很大程度上取决于附近其他 SC 的配置。由于此类互影响无法为动态系统预先定义，它们必须在运行期学习。此外，在基于反馈回路概念（例如源自 SASO 领域或自主与有机计算计划）自我改进自身配置决策时，必须将它们考虑在内。我们定义了一种在运行期检测此类影响的方法论，提出了一种在强化学习技术中考虑该信息的方法，并分析了在人工以及真实世界 SASO 系统设置下的行为。
引用
@article{arxiv.1905.04205,
title = {On the Detection of Mutual Influences and Their Consideration in Reinforcement Learning Processes},
author = {Stefan Rudolph and Sven Tomforde and Jörg Hähner},
journal= {arXiv preprint arXiv:1905.04205},
year = {2019}
}