大语言模型中的知识规划：面向领域对齐的咨询总结
计算与语言
2024-09-24 v1
摘要
在精神健康咨询中，将对话浓缩为简洁且相关的摘要（即咨询记录）具有至关重要的意义。大语言模型 (LLM) 在各种生成任务中表现出惊人的能力；然而，其适应心理健康领域的特殊性仍具有挑战性，尤其是在心理健康语境中。与标准 LLM 不同，心理健康专家首先计划在编写摘要时应用领域知识。我们的工作通过引入一种 novel planning engine 来 orchestrate 结构化知识对齐，增强 LLM 的能力。在实现高阶规划方面，我们将知识封装分为两个主要阶段：(i) 保存对话结构，(ii) 整合领域特定知识。我们在 Llama-2 上部署 planning engine， resulting in 一个 novel 框架 PIECE。我们提出的系统采用 knowledge filtering-cum-scaffolding 来封装领域知识。此外,PIECE 利用 sheaf convolution learning 来增强其对对话结构细微差别的理解。我们将 PIECE 与 14 个基线方法进行比较，观察到在 ROUGE 和 Bleurt 分数上实现显著提升。进一步的专家评估和分析验证了生成质量的有效性，有时甚至超过金标准。我们进一步将 PIECE 与其他 LLM 进行基准测试，报告了包括 Llama-2 (+2.72%)、Mistral (+2.04%) 和 Zephyr (+1.59%) 在内的提升，证明了 planning engine 的通用性。
引用
@article{arxiv.2409.14907,
title = {Knowledge Planning in Large Language Models for Domain-Aligned Counseling Summarization},
author = {Aseem Srivastava and Smriti Joshi and Tanmoy Chakraborty and Md Shad Akhtar},
journal= {arXiv preprint arXiv:2409.14907},
year = {2024}
}
备注
Full paper accepted at EMNLP 2024 (main)