从大语言模型中提炼同理心
计算与语言
2025-07-14 v1
摘要
将大语言模型(LLMs)中的知识蒸馏到小型语言模型(SLMs)，以在保持 LLM 能力和性能的同时减小模型规模，在 LLM 的传播中发挥了关键作用。由于 SLMs 远小于 LLMs，往往用于人类交互频繁但资源受限的领域，例如智能手机。因此，确保 SLMs 在蒸馏后保留已内化于 LLMs 中的同理心——一种积极人类交互的基本方面——至关重要。本文发展了一套有效从 LLMs 蒸馏同理心至 SLMs 的综合方法。我们的 метод特征为两步微调过程，充分利用来自 LLMs 蒸馏的 empathetic 对话响应数据集。我们探索了除了基本直接提示之外的多种蒸馈方法，并提出四套针对性的提示以显著提升同理心蒸馈过程。我们的评估显示，通过两步微调过程并使用经有针对性同理心改进提示增强的蒸馈数据集微调的 SLMs 在生成同理心响应方面显著优于基线 SLMs，赢率达90%。我们的方法中，针对性的同理心改进提示在基本直接提示下实现了10%的赢率提升。
引用
@article{arxiv.2507.08151,
title = {Distilling Empathy from Large Language Models},
author = {Henry J. Xie and Jinghan Zhang and Xinhao Zhang and Kunpeng Liu},
journal= {arXiv preprint arXiv:2507.08151},
year = {2025}
}
备注
Accepted by SIGDIAL 2025