基于LLM知识蒸馏的多方对话意图高效过滤
计算与语言
2025-03-24 v1 人工智能
摘要
大型语言模型（LLM）在对话AI中展现出惊人的能力，使聊天机器人能够进行开放领域的交互，以及对对话进行如摘要、意图分类和洞察生成等高级处理。然而，这些模型资源密集，要求大量内存和计算资源。为此，我们提出一种成本效益高的解决方案，对感兴趣的对话片段进行过滤，以便LLM处理，而非处理每个片段。本文引入一种创新方法，利用LLM的知识蒸馏开发面向多方对话的意图过滤器，针对计算资源受限的环境进行优化。我们的方法综合多种策略，构建多样化的多方对话数据集，标注目标意图后用于微调MobileBERT模型进行多标签意图分类。该模型在效率与性能之间取得平衡，有效地根据意图过滤对话片段。通过仅将相关片段传递给LLM进行进一步处理，我们的方法显著降低了整体运营成本，这取决于意图和数据分布，正如我们的实验所示。
关键词
引用
@article{arxiv.2503.17336,
title = {Efficient Intent-Based Filtering for Multi-Party Conversations Using Knowledge Distillation from LLMs},
author = {Reem Gody and Mohamed Abdelghaffar and Mohammed Jabreel and Ahmed Tawfik},
journal= {arXiv preprint arXiv:2503.17336},
year = {2025}
}