利用大语言模型生成多层次反馈以赋能新手同伴咨询师
计算与语言
2024-03-26 v1 人机交互
机器学习
摘要
真实的实践和量身定制的反馈是培训具有临床技能的同伴咨询师的关键过程。然而，现有的反馈机制在很大程度上依赖于人工监督。同伴咨询师往往缺乏从经验丰富的导师那里获得详细反馈的机制，这使得他们难以支持大量使用同伴咨询的心理健康问题人群。我们的工作旨在利用大语言模型提供情境化和多层次的反馈，以大规模赋能同伴咨询师，尤其是新手。为实现这一目标，我们与一组资深心理治疗督导共同设计了一个多层次反馈分类法，然后构建了一个包含400个情感支持对话的全面反馈注释的公开数据集。我们进一步在大语言模型之上设计了一种自我改进方法，以增强反馈的自动生成。通过与领域专家的定性和定量评估，我们证明了我们的方法最大限度地降低了潜在有害和低质量反馈生成的风险，这在高风险场景中是理想的。
引用
@article{arxiv.2403.15482,
title = {Multi-Level Feedback Generation with Large Language Models for Empowering Novice Peer Counselors},
author = {Alicja Chaszczewicz and Raj Sanjay Shah and Ryan Louie and Bruce A Arnow and Robert Kraut and Diyi Yang},
journal= {arXiv preprint arXiv:2403.15482},
year = {2024}
}