游戏精彩片段生成

本 work 通过自动生成游戏会话中的引人注目的精彩片段，使玩家能够在社交媒体上分享他们的游戏体验。我们的自动化方案既可为玩家节省时间，又能提高观众参与度。我们首先识别视频中发生有趣事件的区间，然后将其拼接。我们开发了一个包含人类使用 VIA 视频标注工具标注的有趣事件的游戏事件检测数据集。传统的精彩检测技术，如游戏引擎集成，需要与游戏开发商昂贵的合作。OCR 技术检测特定图像或文本的区域，需要针对每个游戏进行昂贵的工程，且可能无法在不同游戏 UI 和不同语言之间普适化。我们对 multimodal general purpose video understanding model（如 X-CLIP）进行微调，使用我们的数据集实现跨多个游戏类型的普适化，而无需针对每个游戏进行工程化。通过提示工程改进了该 multimodal 模型的分类性能。我们的评估显示，此类微调模型可从未见的游戏 footage 中以超过 90% 的准确率检测到第一人称射击游戏中的有趣事件。此外，我们的模型在与高资源游戏一起训练时，在低资源游戏（小数据集）上的表现显著优于单独训练，显示出迁移学习的迹象。为使模型生产就绪，我们使用 ONNX 库实现跨平台推理。这些库还提供后训练量化工具，以减少模型大小和推理时间进行部署。在 Windows OS 上使用 ONNX runtime 库的 DirectML 后端进行高效推理。我们展示了 X-CLIP 模型中自然语言监督导致数据高效且性能卓越的视频识别模型。