通过针对性修订实现客服摘要的错误感知知识蒸馏
计算与语言
2026-03-02 v3
摘要
我们引入了一个分析-修订-微调流水线,该流水线使较小的开源语言模型在客服摘要任务中能够超越显著更大的专有模型。该流水线首先分析和分类教师模型(GPT-3.5)生成的摘要中的常见错误,然后使用一个紧凑的编辑器模型(Llama 3.1 70B)进行针对性修订,以生成高质量、精炼的训练数据。在此精炼数据上微调较小的学生模型(例如,Llama 3.1 8B、QWen3 4B),使得摘要性能优于GPT-3.5。ARF流水线在保持竞争性准确性的同时,提高了成本效率和数据隐私,展示了一个可泛化的框架,用于增强跨不同下游应用的开源LLM。
引用
@article{arxiv.2511.03005,
title = {Error-Aware Knowledge Distillation via Targeted Revision for Customer-Service Summarization},
author = {Hee-Jin Lee and Zhen Guo and Luchao Jin and Morteza Moazami Goudarzi},
journal= {arXiv preprint arXiv:2511.03005},
year = {2026}
}