利用哥伦比亚自杀严重程度评定量表评估推理大语言模型用于自杀筛查
计算与语言
2025-05-21 v1 人工智能
计算机与社会
机器学习
摘要
自杀预防仍然是一个关键的公共卫生挑战。虽然 Reddit 的 r/SuicideWatch 等在线平台历史上为个人提供了表达自杀意念和寻求社区支持的空间，但大语言模型（LLM）的出现引入了一种新范式——个人可能开始向 AI 系统而非人类披露自杀意念。本研究评估了 LLM 利用哥伦比亚自杀严重程度评定量表（C-SSRS）进行自动化自杀风险评估的能力。我们评估了六种模型（包括 Claude、GPT、Mistral 和 LLaMA）在 7 点严重程度量表（0-6 级）上对帖子进行分类的零样本性能。结果表明，Claude 和 GPT 与人工标注高度一致，而 Mistral 取得了最低的序数预测误差。大多数模型表现出序数敏感性，错误分类通常发生在相邻的严重程度级别之间。我们进一步分析了混淆模式、错误分类来源和伦理考量，强调了人工监督、透明性和谨慎部署的重要性。完整代码和补充材料可在 https://github.com/av9ash/llm_cssrs_code 获取。
引用
@article{arxiv.2505.13480,
title = {Evaluating Reasoning LLMs for Suicide Screening with the Columbia-Suicide Severity Rating Scale},
author = {Avinash Patil and Siru Tao and Amardeep Gedhu},
journal= {arXiv preprint arXiv:2505.13480},
year = {2025}
}
备注
8 Pages, 6 Figures, 1 Table