PSYCHE：用于评估精神科评估对话智能体的多维患者模拟框架
计算与语言
2025-01-06 v1 人工智能
机器学习
摘要
近年来，大型语言模型 (LLM) 的快速发展加速了开发能够生成类人响应的对话智能体的进程。由于精神科评估通常涉及精神科医生和患者之间复杂的对话互动，因此越来越多的人关注开发能够模拟精神科医生在临床评估中角色的 LLM-based 精神科评估对话智能体 (PACA)。然而，对于评估 PACAs 与患者交互的临床恰当性仍缺乏标准化的方法。为此，我们提出了 PSYCHE，一个新型框架，旨在实现 1) 临床相关性、2) 伦理安全性、3) 成本效益以及 4) 定量评估 PACAs。通过基于多维精神科构建模拟精神科患者，包括患者档案、病史和行为模式，来实现上述目标，PACAs 需要对这些内容进行评估。我们通过与 10 名资深精神科医生的研究，以及对模拟患者言语的深入分析来验证了 PSYCHE 的有效性。
引用
@article{arxiv.2501.01594,
title = {PSYCHE: A Multi-faceted Patient Simulation Framework for Evaluation of Psychiatric Assessment Conversational Agents},
author = {Jingoo Lee and Kyungho Lim and Young-Chul Jung and Byung-Hoon Kim},
journal= {arXiv preprint arXiv:2501.01594},
year = {2025}
}
备注
The first two authors contributed equally