一种用于非结构化客户评论中可操作建议挖掘的混合监督-LLM 流水线

从客户评论中提取可操作的建议对于运营决策至关重要，但这些指令往往嵌入在意图混杂、非结构化的文本中。现有方法要么对包含建议的句子进行分类，要么生成高级摘要，但很少能分离出企业所需的精确改进指令。我们评估了一个混合流水线，该流水线结合了一个高召回率的 RoBERTa 分类器（该分类器使用精确率-召回率代理进行训练以减少不可恢复的假阴性）和一个受控的、经过指令微调的 LLM，用于建议提取、分类、聚类和摘要。在真实的酒店和餐饮数据集上，该混合系统在提取准确性和聚类一致性方面均优于纯提示、基于规则和纯分类器的基线方法。人工评估进一步证实，生成的建议和摘要清晰、忠实且可解释。总体而言，我们的结果表明，混合推理架构在细粒度的可操作建议挖掘方面取得了有意义的改进，同时也突显了领域适应和高效本地部署方面的挑战。