面向通用性与高效性的自动化评分：基于知识蒸馏的多任务混合专家模型
机器学习
2025-11-25 v1 机器学习
摘要
书面构造性回答的自动化评分通常依赖于每个任务独立的模型，在实际教育场景中导致计算资源、存储和维护压力。我们提出 UniMoE-Guided，一种知识蒸馏的多任务混合专家 (MoE) 方法，通过从多个任务特定大型模型（教师）传递专长，转移至单个紧凑可部署模型（学生）。该学生模型整合了 (i) 用于跨任务表征的共享编码器、(ii) 在共享处理与任务特定处理之间进行平衡的门控 MoE 块，以及 (iii) 轻量级任务头部。通过结合ground-truth标签和教师指导进行训练，学生模型在匹配强大的任务特定模型方面表现相当，同时在训练、存储和部署方面效率更高。除了效率优势，MoE 层还能提升迁移与泛化能力：专家开发出可复用的技能，提升跨任务性能，并能以最小的增量和调参实现对新任务的快速适应。在九个与 NGSS 对齐的科学推理任务中（其中七个用于训练/评估，两个用于适应性测试），UniMoE-Guided 在使用约6倍于单独学生模型存储量、以及87倍于200亿参数教师模型存储量的情况下，达到了与单任务模型相当的性能。该方法为实现教室和大规模评估系统中可扩展、可靠且资源高效的自动化评分提供了实际路径。
引用
@article{arxiv.2511.17601,
title = {Generalizable and Efficient Automated Scoring with a Knowledge-Distilled Multi-Task Mixture-of-Experts},
author = {Luyang Fang and Tao Wang and Ping Ma and Xiaoming Zhai},
journal= {arXiv preprint arXiv:2511.17601},
year = {2025}
}