大模型战略思维，小模型效率：大语言模型中的 Theory of Mind 迁移

随着较大、更新的大型语言模型在战略 Theory of Mind (ToM) 任务方面的性能不断提高，对这些最先进模型的需求也随之增加。然而，它们的部署在处理功率和时间方面都具有较高的成本。本文我们研究通过微调创建较小且高性能专用算法的可行性。为此，我们首先提出一个大型预训练模型，包含 20 个独特情景，将不同的社交情境与不同社交困境的游戏相结合，记录其答案，并用于 Q&A 微调同一家族中的较小模型。我们的重点是在情境游戏论决策中，human interaction 所处的同一领域，这需要既有 Theory of Mind（或类似之物）又理解社交动态。因此，该较小模型不仅在其提供的答案上进行训练，还在较大模型提供的动机进行训练，这应该包含了导航两种战略困境和社交线索的建议和指南。我们发现，经过微调的较小语言模型在较小的预训练版本与其较大相对版本之间的性能差距方面实现了持续的弥合，并且其改进扩展到训练示例之外的区域和情境，包括完全不同的游戏结构的 out-of-sample 场景。对于所有游戏的平均情况，经过微调后，该模型表现出 46% 的改进，衡量为对较大模型行为的对齐，100% 表示无法区分的行为。当针对 out-of-sample 的社交情境和游戏时，经过微调的模型仍显示出显著的对齐水平，分别达到 18% 和 28%。