CLIP 遇见 GamePhysics：基于零样本迁移学习的游戏视频缺陷识别
计算机视觉与模式识别
2022-03-24 v2 软件工程
摘要
游戏视频包含关于玩家如何与游戏交互以及游戏如何响应的丰富信息。在 Reddit 等社交媒体平台分享游戏视频已成为许多玩家的常见做法。玩家经常会分享展示电子游戏缺陷的游戏视频。此类游戏视频是可被用于游戏测试的软件制品，因为它们为缺陷分析提供了洞见。尽管存在大量游戏视频仓库，但以有效且结构化的方式解析和挖掘它们仍是一大挑战。本文提出一种搜索方法，接受任意英文文本查询作为输入，从大型游戏视频仓库中检索相关视频。我们的方法不依赖任何外部信息（如视频元数据），仅基于视频内容工作。通过利用对比语言-图像预训练(Contrastive Language-Image Pre-Training, CLIP)模型的零样本迁移能力，我们的方法不需要任何数据标注或训练。为评估我们的方法，我们提出了 数据集，包含从 Reddit 网站 GamePhysics 板块收集的来自 1,873 款游戏的 26,954 个视频。我们的方法在针对简单查询、复合查询和缺陷查询的广泛分析中展现出有前景的结果，表明我们的方法对游戏视频中的物体与事件检测是有用的。我们方法的一个示例应用是作为游戏视频搜索引擎，以辅助复现电子游戏缺陷。请访问以下链接获取代码与数据：https://asgaardlab.github.io/CLIPxGamePhysics/
引用
@article{arxiv.2203.11096,
title = {CLIP meets GamePhysics: Towards bug identification in gameplay videos using zero-shot transfer learning},
author = {Mohammad Reza Taesiri and Finlay Macklon and Cor-Paul Bezemer},
journal= {arXiv preprint arXiv:2203.11096},
year = {2022}
}
备注
Accepted by MSR 2022 conference