复杂环境中功能实际原因的自动发现
人工智能
2024-04-18 v1 机器学习
统计方法学
摘要
强化学习（RL）算法常因因果混淆、过拟合到无关因素以及难以隔离状态因素的控制而难以学习出对新情形具有普适性的策略。这些问题都源于一个共同点：未能准确识别和利用环境中特定状态的因果关系。虽然一些先前的RL工作试图显式地识别这些关系，但它们依赖于空间和时间接近性等非正式的领域特定启发式方法。实际因果性提供了一个原则且通用的框架，用于确定特定事件的原因。然而，现有的实际因果定义常会将因果归因于大量事件，即便其中许多事件很少影响结果。先前的实际因果工作提出以正规性为解决方案，但其现有实现难以扩展到复杂且连续值的RL环境。本文引入功能实际原因（FAC）框架，通过利用环境中的情境特定独立性来限制实际原因的集合。我们 additionally 引入了实际原因推断的联合优化（JACI），该算法从观测数据中学习以推断功能实际原因。我们通过实证研究表明，FAC与实际因果文献中的已知结果一致，JACI在一组复杂的连续值环境中比现有启发式方法在识别实际原因方面准确率显著提高。
引用
@article{arxiv.2404.10883,
title = {Automated Discovery of Functional Actual Causes in Complex Environments},
author = {Caleb Chuck and Sankaran Vaidyanathan and Stephen Giguere and Amy Zhang and David Jensen and Scott Niekum},
journal= {arXiv preprint arXiv:2404.10883},
year = {2024}
}