迷你巨人：小型语言模型与开源的双赢

ChatGPT 令人惊叹。然而，训练与精炼此类巨型模型成本高昂。幸运的是，小型语言模型正蓬勃发展且愈发胜任。我们称之为“迷你巨人”。我们认为，诸如 Kaggle 之类的开源社区与迷你巨人将在技术、伦理与社会诸多方面实现双赢。本文中，我们呈现简要而丰富的背景，讨论如何获取小型语言模型，给出小型语言模型的比较研究及评价方法的简要探讨，讨论现实世界中最亟需小型语言模型的应用场景，并以讨论与展望作结。