图上下文强化学习用于高效有向控制器合成
人工智能
2025-12-18 v1
摘要
控制器合成是一种形式化方法，用于自动生成满足指定属性的标记转移系统（LTS）控制器。然而，合成过程的效率严重依赖于探索策略。这些策略通常依赖于仅考虑有限当前特征的固定规则或通过强化学习（RL）学习的策略。为解决这一局限性，本文提出了 GCRL，一种通过集成图神经网络（GNN）来增强 RL 方法的方案。GCRL 将 LTS 探索历史编码为图结构，使其能够捕获更广泛的、基于非当前上下文的特征。在与最先进方法的对比实验中，GCRL 在五个基准领域中的四个表现出优越的学习效率和泛化能力，仅在一个以高对称性和严格局部相互作用为特征的领域例外。
引用
@article{arxiv.2512.15295,
title = {Graph Contextual Reinforcement Learning for Efficient Directed Controller Synthesis},
author = {Toshihide Ubukata and Enhong Mu and Takuto Yamauchi and Mingyue Zhang and Jialong Li and Kenji Tei},
journal= {arXiv preprint arXiv:2512.15295},
year = {2025}
}