基于业务对话阅读理解的领域自适应持续指令预训练方法 DACIP-RC
计算与语言
2025-10-10 v1 人工智能
摘要
大型语言模型（LLM）的快速发展使其在实际工业场景中广泛应用于各种自然语言处理任务。然而，大规模 LLM 的高推理成本使得实际部署不可行，迫切需要使用更小的模型。尽管更小的模型更高效，但它们缺乏跨 diverse 领域的鲁棒零样本指令遵循能力，限制了其对动态用户需求的适应性。传统的微调方法会导致灾难性遗忘，降低模型对未见任务的泛化能力。本文提出领域自适应持续指令预训练通过阅读理解（DACIP-RC）方法，这是一种增强小型 LLM 针对业务对话任务领域适应性的持续预训练技术。与传统预训练方法不同，后者依赖下一个标记预测，而 DACIP-RC 通过对对话记录进行阅读理解生成多样化的任务指令和响应，实现更好的指令泛化。我们的实验结果表明，DACIP-RC 在广泛的业务对话任务上显著提升了零样本泛化能力，包括会议摘要、行动项目生成和呼叫目的识别。到目前为止，我们是首次将指令预训练应用于业务对话数据，为行业如何利用专有数据进行领域适应提供了洞见。
引用
@article{arxiv.2510.08152,
title = {DACIP-RC: Domain Adaptive Continual Instruction Pre-Training via Reading Comprehension on Business Conversations},
author = {Elena Khasanova and Harsh Saini and Md Tahmid Rahman Laskar and Xue-Yong Fu and Cheng Chen and Shashi Bhushan TN},
journal= {arXiv preprint arXiv:2510.08152},
year = {2025}
}
备注
Accepted to the EMNLP 2025 Industry Track. Equal contribution from the first four authors