Relational-Grid-World：一种新型关系推理环境及用于关系信息提取的智能体模型
人工智能
2020-07-14 v1
摘要
强化学习 (RL) 智能体通常是针对特定问题设计的，且其工作过程通常不可解释。基于统计方法的智能体算法可以通过逻辑编程等符号人工智能 (AI) 工具在泛化性和可解释性方面得到改进。在本研究中，我们提出了一种由环境对象的显式关系表示支持的免模型 RL 架构。我们首次将 PrediNet 网络架构用于动态决策问题而非基于图像的任务，并将多头点积注意力网络 (MHDPA) 作为性能比较的基线。我们在两个环境中测试了这两种网络——即基线 Box-World 环境和我们的新环境 Relational-Grid-World (RGW)。借助在视觉感知和组合选择方面具有复杂性的程序化生成 RGW 环境，可以轻松衡量 RL 智能体的关系表示性能。实验使用不同配置的环境进行，以便将所提出的模块和环境与基线进行比较。我们使用 PrediNet 架构和 MHDPA 获得了相似的策略优化性能结果；此外，我们成功显式提取了命题表示，这使得智能体的统计策略逻辑更具可解释性和可处理性。智能体策略的这种灵活性为设计非特定任务的智能体架构提供了便利。本研究的主要贡献有两方面：一个能够显式执行关系推理的 RL 智能体，以及一个衡量 RL 智能体关系推理能力的新环境。
引用
@article{arxiv.2007.05961,
title = {Relational-Grid-World: A Novel Relational Reasoning Environment and An Agent Model for Relational Information Extraction},
author = {Faruk Kucuksubasi and Elif Surer},
journal= {arXiv preprint arXiv:2007.05961},
year = {2020}
}