SC-Phi2：用于《星际争霸II》宏观管理任务的微调小语言模型
计算与语言
2024-10-01 v1 人工智能
摘要
本文介绍了 SC-Phi2，一个用于宏观管理任务的微调《星际争霸II》小语言模型。小语言模型（如 Phi2、Gemma 和 DistilBERT）是大语言模型 (LLMs) 的精简版本，参数较少，运行所需功耗和内存更少。为了向 Microsoft 的 Phi2 模型教授《星际争霸》知识，我们创建了一个包含《星际争霸》种族、角色和动作信息的新 SC2 文本数据集，并使用自监督学习对 Phi-2 进行微调。我们将此语言模型与来自预训练 BLIP-2 (Bootstrapping Language Image Pre-training) 模型的 Vision Transformer (ViT) 配对，在 MSC replay 数据集上对其进行微调。这使我们能够构建包含视觉游戏状态信息的动态提示。与《星际争霸》LLMs 中使用的大型模型（如 GPT-3.5）不同，Phi2 主要在教科书数据上训练，除了我们训练过程提供的信息外，几乎不包含关于《星际争霸II》的内在知识。通过使用 LoRA (Low-rank Adaptation) 和量化，我们的模型可以在单个 GPU 上进行训练。我们证明，我们的模型在宏观管理任务（如建造顺序和全局状态预测）中，以少量参数表现良好。
引用
@article{arxiv.2409.18989,
title = {SC-Phi2: A Fine-tuned Small Language Model for StarCraft II Macromanagement Tasks},
author = {Muhammad Junaid Khan and Gita Sukthankar},
journal= {arXiv preprint arXiv:2409.18989},
year = {2024}
}