中文

领域特定Constitutional AI:增强LLM驱动的心理健康聊天机器人的安全性

人工智能 2026-01-21 v2 机器学习

摘要

随着全球精神疾病发病率的上升、人工智能在心理护理中的整合以及在服务不足的社区中对可扩展解决方案的需求,心理健康应用已成为计算健康领域的一个关键领域。这些应用包括处理敏感数据的治疗聊天机器人、危机检测和健康平台,由于用户的情感脆弱性、误诊或症状恶化等风险,以及需要精确管理脆弱状态以避免自残或信任丧失等严重后果,它们需要超越通用安全措施的专用AI安全性。尽管AI安全性取得了进展,但通用安全措施不足以应对心理健康特定的挑战,包括避免事态升级的危机干预准确性、防止错误信息的治疗指南依从性、资源受限环境下的规模限制,以及对细微对话的适应(通用措施可能引入偏见或遗漏痛苦信号)。我们引入一种方法,将Constitutional AI训练与领域特定的心理健康原则相结合,用于计算心理健康应用中安全且领域适应的CAI系统。

关键词

引用

@article{arxiv.2509.16444,
  title  = {Domain-Specific Constitutional AI: Enhancing Safety in LLM-Powered Mental Health Chatbots},
  author = {Chenhan Lyu and Yutong Song and Pengfei Zhang and Amir M. Rahmani},
  journal= {arXiv preprint arXiv:2509.16444},
  year   = {2026}
}

备注

Accepted to 2025 IEEE 21st International Conference on Body Sensor Networks (BSN)