从未经标记的图像中学习任务无关的博弈状态表示
计算机视觉与模式识别
2022-06-15 v1
摘要
自监督学习（SSL）技术已被广泛用于从高维复杂数据中学习紧凑且具信息量的表示。在许多计算机视觉任务（如图像分类）中，此类方法取得了超越监督学习方法的 SOTA 结果。本文研究 SSL 方法是否可用于学习准确的博弈状态表示，以及若可行，在何种程度上可行。为此，我们从三款不同的 3D 游戏（VizDoom、CARLA racing 模拟器和 Google Research Football Environment）收集游戏画面帧及对应的游戏内部状态序列。我们仅使用原始帧，以三种广泛使用的 SSL 算法训练图像编码器，随后尝试从所学表示中恢复内部状态变量。我们在三款游戏上的结果表明，与 ImageNet 等预训练基线模型相比，SSL 表示与游戏内部状态的相关性显著更高。这些发现表明，基于 SSL 的视觉编码器可仅从游戏像素信息中产生通用的——而非针对特定任务定制——但具信息量的游戏表示。此类表示进而可构成提升游戏中下游学习任务（包括博弈对战、内容生成和玩家建模）性能的基础。
引用
@article{arxiv.2206.06490,
title = {Learning Task-Independent Game State Representations from Unlabeled Images},
author = {Chintan Trivedi and Konstantinos Makantasis and Antonios Liapis and Georgios N. Yannakakis},
journal= {arXiv preprint arXiv:2206.06490},
year = {2022}
}
备注
Conference on Games (CoG) 2022