InheritSumm：通过蒸馏 GPT 得到的通用、多能且紧凑的摘要器
计算与语言
2023-05-23 v1
摘要
尽管 GPT-3 等大型模型在零样本与少样本摘要任务中表现优异，但其高昂的部署与微调成本阻碍了在各种应用中的使用。相反，先前研究发现，尽管自动指标往往偏好较小的微调模型，但经人工评估，它们生成的摘要质量不如 GPT-3 等大型模型。为解决此问题，我们提出 InheritSumm，一种通过蒸馏 GPT-3.5 得到的通用且紧凑的摘要模型。InheritSumm 不仅展现出与 GPT-3.5 相当的零样本与少样本摘要能力，且足够紧凑以便于微调。实验结果表明，InheritSumm 在零样本与少样本设定下取得与 GPT-3.5 相似或更优的性能。此外，其在前缀微调与全数据微调场景中均优于先前确立的最佳小模型。
引用
@article{arxiv.2305.13083,
title = {InheritSumm: A General, Versatile and Compact Summarizer by Distilling from GPT},
author = {Yichong Xu and Ruochen Xu and Dan Iter and Yang Liu and Shuohang Wang and Chenguang Zhu and Michael Zeng},
journal= {arXiv preprint arXiv:2305.13083},
year = {2023}
}
备注
work in progress