面向文本环境的场景图谱常识知识
计算机视觉与模式识别
2022-10-26 v1 人工智能
摘要
基于文本的游戏正日益被用作强化学习中的真实世界模拟环境。它们通常是不完全信息游戏，且交互仅限于文本模态。为了应对这些游戏，通过提供游戏外部的知识（如人类常识）来补充缺失信息是有效的。然而，在以往的工作中，此类知识仅能从文本信息中获取。在本文中，我们研究了利用从视觉数据集（如场景图谱数据集）中获得的常识推理的优势。通常，与文本相比，图像为人类传达了更全面的信息。这一特性使得提取对在游戏中有效行动更有用的常识关系知识成为可能。我们比较了 Visual Genome（一个场景图谱数据集）和 ConceptNet（一个基于文本的知识库）中可用的空间关系统计数据，以分析引入场景图谱数据集的有效性。我们还在一个需要常识推理的文本游戏任务上进行了实验。实验结果表明，我们提出的方法比现有的最先进方法具有更高且具有竞争力的性能。
引用
@article{arxiv.2210.14162,
title = {Commonsense Knowledge from Scene Graphs for Textual Environments},
author = {Tsunehiko Tanaka and Daiki Kimura and Michiaki Tatsubori},
journal= {arXiv preprint arXiv:2210.14162},
year = {2022}
}
备注
AAAI-22 Workshop on Reinforcement Learning in Games