规模更大却不更好：小型神经语言模型在思维障碍检测中超越大型语言模型
计算与语言
2025-03-27 v1
摘要
离散思维是精神分裂症谱系疾病的关键诊断指标。最近的研究表明，临床对离散思维严重程度的估计与大型语言模型（LLM）预测 speech transcript 难易性的衡量标准呈相关性。然而，LLM 的部署挑战——包括隐私 concerns、计算和经济成本，以及训练数据透明度不足——限制了其临床实用性。我们研究是否可以利用相同的滑动窗口基/perplexity 测量方法，使较小的神经语言模型成为检测正式思维障碍的有效替代方案。出乎意料的是，我们的结果表明，较小的模型对与正式思维障碍相关的语言差异更敏感。检测能力在特定模型规模和上下文长度后会下降，挑战了“更大即更好”这一关于 LLM 应用的常见假设。我们的发现跨越了来自患有精神症状者的音频日记和临床访谈语音样本，表明这一方法为开发可在临床和自然环境中部署的高效、低成本且具有隐私保护性的筛查工具指明了前景。
引用
@article{arxiv.2503.20103,
title = {Bigger But Not Better: Small Neural Language Models Outperform Large Language Models in Detection of Thought Disorder},
author = {Changye Li and Weizhe Xu and Serguei Pakhomov and Ellen Bradley and Dror Ben-Zeev and Trevor Cohen},
journal= {arXiv preprint arXiv:2503.20103},
year = {2025}
}
备注
Accepted to CL Psych 2025 workshop, co-located with NAACL 2025