解锁 LLM：应对心理健康领域中的数据稀缺与偏见挑战

大型语言模型(LLM)在医疗保健分析中展现出了可期的能力，但面临幻觉、鹦鹉学舌和偏见表现等诸多挑战。这些挑战在复杂、敏感和低资源领域尤为加剧。因此，在这项工作中，我们引入了 IC-AnnoMI，这是一个基于 AnnoMI 构建、由专家标注的动机性访谈(MI)数据集，通过利用 LLM（特别是 ChatGPT）生成上下文对话而建立。IC-AnnoMI 采用通过线索和定制信息精确设计的目标提示，兼顾了治疗风格（共情、反思）、上下文相关性以及虚假语义变化。随后，这些对话由专家严格遵循动机性访谈技能编码(MISC)进行标注，重点关注 MI 对话的心理和语言学维度。我们通过采用多种经典机器学习和当前最先进的 Transformer 方法对新颖分类任务进行建模，全面评估了 IC-AnnoMI 数据集以及 ChatGPT 的情感推理能力和对领域复杂性的理解。最后，我们讨论了渐进式提示策略的效果以及增强数据在缓解 IC-AnnoMI 中表现的偏见方面的影响。我们的贡献不仅为 MI 社区提供了一个全面的数据集，还为在监督环境下使用 LLM 进行对话治疗的共情文本生成提供了宝贵见解。