WellDunn：语言模型与大型语言模型在识别健康维度方面的鲁棒性与可解释性
人工智能
2024-12-05 v4 计算与语言
摘要
语言模型（LM）被提议用于精神健康应用领域，其中预测性能可能并非判断模型在临床实践中实用性的充分标准。一个在实践中可被信赖的模型应具备解释与临床判断之间的对应关系，但目前尚无研究检验这些模型的注意力忠实度及其对真实解释的影响。我们引入一种评估设计，聚焦于LM和大型语言模型（LLM）在识别健康维度（WDs）方面的鲁棒性和可解释性。我们关注两个现有的精神健康和幸福感数据集：（a）基于多标签分类的MultiWD，以及（b）用于评估注意力机制真实性的WellXplain。标签基于Halbert Dunn的健康理论而构建，为我们的评估提供依据。我们揭示了关于LM/LLM的四个惊人结果：（1）尽管拥有类人能力，GPT-3.5/4在RoBERTa和MedAlpaca（一种在WellXplain上微调的LLM）方面落后；对WellXplain进行微调的LLM未能在性能或解释方面带来显著改进。（2）重新审视基于置信度导向损失函数的LM预测，显示出显著的性能下降。（3）在所有LM/LLM中，注意力与解释之间的对齐程度始终较低，LLM得分令人沮丧的0.0。（4）大多数精神健康专用LM/LLM忽视领域特定知识，低估解释，导致这些差异。该研究凸显了在精神健康和幸福感领域进一步研究其一致性和解释的必要性。
引用
@article{arxiv.2406.12058,
title = {WellDunn: On the Robustness and Explainability of Language Models and Large Language Models in Identifying Wellness Dimensions},
author = {Seyedali Mohammadi and Edward Raff and Jinendra Malekar and Vedant Palit and Francis Ferraro and Manas Gaur},
journal= {arXiv preprint arXiv:2406.12058},
year = {2024}
}
备注
Accepted in BlackboxNLP @ EMNLP 2024