面向探测联系中心大型语言模型
计算与语言
2023-12-27 v1
摘要
使用领域特定指令微调大型语言模型（LLM）已成为增强其领域理解的有效方法。然而，很少有工作检查在此过程中获得的核心特征。在本研究中，我们通过探测任务（涵盖对话、渠道和自动语音识别（ASR）属性）对联系中心（CC）特定指令微调的LLM与开箱（OOB）LLM进行基准测试。我们探索了不同的LLM架构（Flan-T5和Llama）、规模（3B、7B、11B、13B）和微调范式（全微调与PEFT）。我们的发现揭示了CC-LLM在域内下游任务上的显著有效性，与OOB-LLM相比，响应可接受性提高了48%以上。此外，我们比较了OOB-LLM和CC-LLM在广泛使用的SentEval数据集上的性能，并通过探测任务评估了它们在表面、句法和语义信息方面的能力。有趣的是，我们注意到探测分类器在一组探测任务上的性能相对一致。我们的观察表明，CC-LLM虽然优于其开箱对应模型，但表现出较少依赖编码表面、句法和语义属性的趋势，突出了领域特定适应与探测任务性能之间复杂的相互作用，为探索微调语言模型在专门上下文中的行为开辟了机会。
引用
@article{arxiv.2312.15922,
title = {Towards Probing Contact Center Large Language Models},
author = {Varun Nathan and Ayush Kumar and Digvijay Ingle and Jithendra Vepa},
journal= {arXiv preprint arXiv:2312.15922},
year = {2023}
}