Dial-In LLM: 人类对齐的 LLM 置入式意图聚类用于客户服务对话
计算与语言
2026-02-18 v4 机器学习
摘要
发现客户意图对于自动化服务代理至关重要，但现有的意图聚类方法往往不足，因为它们依赖于嵌入距离度量，忽视了潜在语义结构。为克服这些限制，我们提出一种 LLM 置入式 (LLM-in-the-loop, LLM-ITL) 意图聚类框架，将 LLM 的语言理解能力集成到常规聚类算法中。具体而言，本文 (1) 检查了微调 LLM 在语义一致性评估和意图聚类命名方面的有效性，实现了超过 95% 的准确率，与人类判断一致; (2) 设计了 LLM-ITL 框架，以便在迭代过程中发现连贯的意图聚类并确定最佳聚类数量; (3) 引入了针对客户服务对话的情境感知技术。由于现有的英文基准缺乏足够的语义多样性和意图覆盖范围，我们进一步提出了一个包含超过 10 万条真实客户服务通话记录、包含 1507 个人工标注聚类的全面中文对话意图数据集。所提出的方法显著优于 LLM 指导的基线方法，在聚类质量、成本效率和下游应用方面实现了显著的改进。结合多项最佳实践，我们的发现凸显了 LLM 置入式技术在可扩展对话数据挖掘中的突出作用。
引用
@article{arxiv.2412.09049,
title = {Dial-In LLM: Human-Aligned LLM-in-the-loop Intent Clustering for Customer Service Dialogues},
author = {Mengze Hong and Wailing Ng and Chen Jason Zhang and Yuanfeng Song and Di Jiang},
journal= {arXiv preprint arXiv:2412.09049},
year = {2026}
}
备注
Accepted by EMNLP 2025 Main Conference