更大的模型是否产生更好的结果？使用BERT知识蒸馏进行ADHD相关关注的简化严重性分类

本工作关注知识蒸馏方法在生成轻量且强大的BERT模型用于自然语言处理应用中的效率。模型创建后，我们将所得模型 LastBERT 应用于一个真实任务，即从社交媒体文本数据中分类注意力缺陷多动障碍（ADHD）相关关注的严重程度级别。LastBERT 是一个定制化的学生 BERT 模型，我们将模型参数从110M的 BERT base 大幅降低到29M，使模型缩小约73.64%。在 GLUE 基准测试上，包括释义识别、情感分析和文本分类，学生模型在许多任务上尽管有所缩减仍保持了强劲性能。该模型也在一个真实 ADHD 数据集上取得了85%的准确率和F1分数。与 DistilBERT（66M）和 ClinicalBERT（110M）相比，LastBERT 展现了可比的性能，DistilBERT 略优于它达到87%，ClinicalBERT 在相同指标上达到86%。这些发现凸显了 LastBERT 模型正确分类ADHD严重程度等级的能力，因此为心理健康专业人员提供了一个有用的工具，用于评估和理解社交网络平台上用户生成的内容。该研究强调了知识蒸馏在资源受限条件下生成有效模型的可能性，从而推动了NLP和心理健康诊断的进步。此外，模型尺寸的大幅减少而性能损失不显著意味着训练和部署所需的计算资源更少，从而促进了更广泛的应用。特别是使用 Google Colab 等易于获取的计算工具。本研究展示了先进的NLP方法在务实世界应用中的可及性和实用性。