评估上下文嵌入及其提取层在抑郁评估中的表现
计算与语言
2022-04-29 v2 机器学习
摘要
近期的研究已证明能够从个人话语中评估心理健康的某些方面。与此同时，预训练上下文词嵌入模型已主导自然语言处理(NLP)的大部分领域，但关于如何最佳地将其应用于心理健康评估，经验上知之甚少。以抑郁程度为案例，我们对哪些现成语言模型、单独层以及层的组合在应用于人类层面的NLP任务时最有前景进行了实证分析。值得注意的是，我们发现RoBERTa最有效，并且尽管以往工作的标准建议采用倒数第二层或最后4层的拼接，但我们发现当使用1层时，第19层（倒数第六层）至少与第23层一样好。此外，当使用多层时，将它们分布在24层中的后半部分（即第12层及以上）而非最后4层，产生了最准确的结果。
引用
@article{arxiv.2112.13795,
title = {Evaluating Contextual Embeddings and their Extraction Layers for Depression Assessment},
author = {Matthew Matero and Albert Hung and H. Andrew Schwartz},
journal= {arXiv preprint arXiv:2112.13795},
year = {2022}
}