CounselReflect：用于审计心理健康对话的工具包
计算与语言
2026-04-01 v1
摘要
心理健康支持日益通过对话系统（例如基于大语言模型的工具）进行中介，但用户缺乏结构化的方式来审计他们所接收支持的质量和潜在风险。我们介绍 CounselReflect，一个用于审计心理健康支持对话的端到端工具包。与生成单个不透明质量分数的不同，CounselReflect 提供具有结构化、多维度报告的支持，包括会话级别的摘要、轮次级别的得分以及与证据关联的摘录，以支持透明的检查。该系统集成了两种评估信号：（i）由特定任务预测器产生的 12 个模型基指标，（ii）通过扩展覆盖的 rubric-based 指标，源自文献推导的图书馆（69 个指标）和用户定义的自定义指标，通过可配置的 LLM 评判器实现。CounselReflect 可作为 Web 应用程序、浏览器扩展和命令行界面（CLI）提供，使其能够在实时环境中以及大规模情况下使用。人类评估包括 20 名用户的研究和 6 名心理健康专业人员的专家审查，表明 CounselReflect 支持可理解、可用且可信的审计。还提供演示视频和完整源码。
引用
@article{arxiv.2603.29429,
title = {CounselReflect: A Toolkit for Auditing Mental-Health Dialogues},
author = {Yahan Li and Chaohao Du and Zeyang Li and Christopher Chun Kuizon and Shupeng Cheng and Angel Hsing-Chi Hwang and Adam C. Frank and Ruishan Liu},
journal= {arXiv preprint arXiv:2603.29429},
year = {2026}
}