面向电话会话摘要的大型语言模型域适应持续预训练方法——DACP
计算与语言
2025-10-10 v3 人工智能
机器学习
摘要
大型语言模型 (LLM) 在文本摘要方面取得了令人印象深刻的性能，但在应用于与原始预训练分布不同的专业领域时，性能往往不足。虽然微调可以提高摘要质量，但通常依赖于昂贵且稀缺的高质量标注数据。在本工作中，我们探索了作为可扩展的自监督方法，以适应 LLM 以提高下游摘要任务的能力，特别是在噪声的真实世界对话 transcript 的上下文中。我们使用大规模无标记商业对话数据进行大量实验，探讨持续预训练是否增强模型在对话摘要方面的能力。我们的结果表明，持续预训练在 both in-domain 和 out-of-domain 摘要基准测试中均实现了显著提升，同时保持了强大的泛化和鲁棒性。我们还分析了数据选择策略的影响，为在面向摘要的工业应用中应用持续预训练提供了实用指南。
引用
@article{arxiv.2510.05858,
title = {DACP: Domain-Adaptive Continual Pre-Training of Large Language Models for Phone Conversation Summarization},
author = {Xue-Yong Fu and Elena Khasanova and Md Tahmid Rahman Laskar and Harsh Saini and Shashi Bhushan TN},
journal= {arXiv preprint arXiv:2510.05858},
year = {2025}
}
备注
Accepted to the NewSumm Workshop at EMNLP 2025. Equal contribution from the first four authors