提升语言模型的双语能力以支持教育中的多样化语言实践
计算与语言
2024-11-08 v1 人工智能
摘要
大型语言模型（LLMs）在生成教育内容、提供教师反馈以及减少评估工作量方面展现出潜力。虽然先前的研究侧重于LLM驱动的学习分析，但关于LLM在双语情境下有效性的研究有限。本文研究了多语言大型语言模型（MLLMs）在单语（仅英语、仅西班牙语）和双语（西班牙英语）学生写作中的有效性。我们提出了一个学习分析用例，详细描述了LLM在评估科学与社会科学概念的可接受与不可接受解释时的表现。我们的研究结果揭示了预训练模型在双语写作评分性能上，相较于仅英语和仅西班牙语写作，存在显著偏差。随后，我们使用英语、西班牙语和西班牙英语生成的合成数据集，对包括Llama 3.1和Mistral NeMo在内的开源MLLMs进行了微调。实验表明，在使用双语数据微调后，模型在三种语言上的表现均有显著提升。本研究凸显了提升MLLM有效性以支持双语学习者真实语言实践的潜力，并旨在说明将非英语语言纳入教育语言模型设计与实现的价值。
关键词
引用
@article{arxiv.2411.04308,
title = {Improving Bilingual Capabilities of Language Models to Support Diverse Linguistic Practices in Education},
author = {Anand Syamkumar and Nora Tseng and Kaycie Barron and Shanglin Yang and Shamya Karumbaiah and Rheeya Uppal and Junjie Hu},
journal= {arXiv preprint arXiv:2411.04308},
year = {2024}
}