探索多教师知识蒸馏中知识净化的潜力

知识蒸馈已成为将知识从更强大的大语言模型(LLM)传递到更小、更高效模型的关键技术。然而，传统蒸馈方法面临知识冲突和高资源需求的挑战，尤其是在利用多个教师模型时。本文引入了"知识净化"（Knowledge Purification）的概念，即将来自多个教师LLM的理由综合到单个理由中，从而缓解冲突并提升效率。为探讨知识净化的有效性，我们进一步提出了五种从不同角度的净化方法。我们的实验表明，这些方法不仅提高了蒸馈模型的性能，还有效缓解了知识冲突。此外，基于路由器的方法在泛化能力方面表现出色，凸显了创新净化技术在优化多教师蒸馈和促进强大而轻量级模型实际部署方面的潜力。