经济实惠的微调 LLM 为课程相关题目提供更好的答案
计算与语言
2025-03-06 v2 人工智能
摘要
在教育领域，大型语言模型 (LLM) 能够生成类人文本的能力激发了其提高学习和教学效率的潜力。我们研究了这些模型对教育者和学生的经济性，通过探讨 LLM 在硬件约束和微调技术方面的 MCQ 回答能力。我们通过使用通用预训练 LLM (LLaMA-2 的 7B、13B 和 70B 变体) 来回答来自编程语言课程的 162 道本科生水平 MCQ 来探索这一空间——该 MCQ 数据集是本工作的贡献，我们将其公开发布。具体而言，我们剖析了不同因素，如使用可获得材料——课程教材的部分——进行微调和量化（以降低资源使用）如何影响响应准确性。主要结论是，较小的基于教材的微调模型优于通用更大模型（其预训练需要显著资源），使得 LLM 用于回答 MCQ 在资源和材料方面变得经济实惠。
引用
@article{arxiv.2501.05891,
title = {Affordably Fine-tuned LLMs Provide Better Answers to Course-specific MCQs},
author = {Bianca Raimondi and Saverio Giallorenzo and Maurizio Gabbrielli},
journal= {arXiv preprint arXiv:2501.05891},
year = {2025}
}
备注
The 40th ACM/SIGAPP Symposium On Applied Computing