推断因果图时序逻辑公式以加速时空扩展任务中的强化学习
人工智能
2026-01-07 v1 计算机科学中的逻辑
摘要
决策任务常在具有时空动力学的图上展开。黑箱强化学习往往忽视局部变化如何通过网络结构传播，这限制了样本效率和可解释性。我们提出了 GTL-CIRL（Causal Graph Temporal Logic - Concurrent Inference and Reinforcement Learning），一个闭环框架，同时学习策略并从事因果图时序逻辑（Causal GTL）规格的矿工。该方法以鲁棒性方式塑造奖励，在效果失败时收集反例，并使用基于高斯过程的贝叶斯优化来细化参数化原因模板。GP 模型捕捉系统动力学中的空间和时间相关性，使能够高效探索复杂的参数空间。基因网络和电力网络的案例研究表明，相较于标准强化学习基线，GTL-CIRL 实现更快的学习并呈现更清晰、可验证的行为。
引用
@article{arxiv.2601.02666,
title = {Inferring Causal Graph Temporal Logic Formulas to Expedite Reinforcement Learning in Temporally Extended Tasks},
author = {Hadi Partovi Aria and Zhe Xu},
journal= {arXiv preprint arXiv:2601.02666},
year = {2026}
}
备注
Accepted to AAAI-26 Bridge Program B10: Making Embodied AI Reliable with Testing and Formal Verification