建立心理健康聊天机器人信任：安全指标与基于大语言模型的评估工具
计算与语言
2025-03-04 v2 人工智能
人机交互
机器学习
摘要
目标：本研究旨在开发和验证一个评估框架，以确保心理健康聊天机器人（因其可访问性、类人交互和情境感知支持而日益流行）的安全性和可靠性。材料与方法：我们创建了一个包含 100 个基准问题与理想响应，以及五个指南问题的评估框架。该框架经心理健康专家验证后，在基于 GPT-3.5-turbo 的聊天机器人上进行测试。探索了包括大语言模型（LLM）评分、使用真实数据进行智能体方法，以及嵌入模型将聊天机器人响应与真实标准进行比较的自动化评估方法。结果：结果凸显了遵循指南和真实标准在提高 LLM 评估准确性方面的重要性。智能体方法通过动态访问可靠信息，显示出对人类评估的最佳一致性。遵循经专家验证的标准化框架显著提升了聊天机器人响应的安全性和可靠性。讨论：我们的发现强调了为心理健康聊天机器人建立全面、专家制定的安全评估指标的必要性。尽管 LLM 有着巨大的潜力，但仍需谨慎实施以缓解风险。智能体方法的优越性能凸显了在提高聊天机器人可靠性方面实时数据访问的重要性。结论：本研究验证了心理健康聊天机器人的评估框架，证明其在提高安全性和可靠性方面的有效性。未来工作应扩展对准确性、偏见、同理心和隐私的评估，以确保整体评估和负责任地整合到医疗保健中。标准化的评估将建立信任，促进专业人员和用户之间的信任，促进更广泛的采用和通过技术改善心理健康支持。
引用
@article{arxiv.2408.04650,
title = {Building Trust in Mental Health Chatbots: Safety Metrics and LLM-Based Evaluation Tools},
author = {Jung In Park and Mahyar Abbasian and Iman Azimi and Dawn T. Bounds and Angela Jun and Jaesu Han and Robert M. McCarron and Jessica Borelli and Parmida Safavi and Sanaz Mirbaha and Jia Li and Mona Mahmoudi and Carmen Wiedenhoeft and Amir M. Rahmani},
journal= {arXiv preprint arXiv:2408.04650},
year = {2025}
}