大语言模型符号知识蒸馏综述

本综述论文深入探讨大语言模型（LLMs）中符号知识蒸馏这一新兴且关键的领域。随着GPT-3和BERT等LLM在规模和复杂性上不断扩展，有效利用其广泛知识的能力变得至关重要。本综述聚焦于将这些模型中复杂的、往往隐含的知识蒸馏为更具符号性、显式形式的过程。这一转变对于增强LLM的可解释性、效率和适用性至关重要。我们根据方法和应用对现有研究进行分类，重点关注符号知识蒸馏如何用于提高更小、更高效的人工智能模型的透明度和功能性。本综述讨论了核心挑战，包括以可理解格式保持知识深度，并探讨了该领域开发的多种方法和技术。我们识别了当前研究的空白和未来进步的潜在机会。本综述旨在提供大语言模型符号知识蒸馏的全面概述，突出其在迈向更易访问和高效的人工智能系统进程中的重要性。