通过微调改进少样提示：短答案评分的实证比较
机器学习
2025-08-07 v1
摘要
改进自动短答案评分（ASAG）的研究近期聚焦于大型语言模型（LLMs），通过提示工程和无/少样提示以达到最佳效果。这与需要大型计算集群才能实现的微调方法形成鲜明对比。新的封闭模型方法，如 OpenAI 的微调服务，承诺仅需 100 个样本即可实现效果，而使用开源权重的方法如量化低秩自适应（QLORA）则可在消费级 GPU 上进行微调。我们评估了这两种微调方法，测量其与少样提示在结构化（JSON）输出下的自动短答案评分（ASAG）中的相互作用。我们的结果表明，针对 Llama 开源权重模型进行少量数据微调的效用有限，但微调方法可超过 few-shot 基准的指令微调 LLMs。虽然我们的评估集合有限，但我们发现微调的优势可能受到领域主题材料的影响。最后，我们观察到，使用 LLama 3.1 8B-Instruct 开源权重模型，通过以大量廉价生成的合成训练数据作为初始训练示例，可实现显著的性能提升。
引用
@article{arxiv.2508.04063,
title = {Fine-tuning for Better Few Shot Prompting: An Empirical Comparison for Short Answer Grading},
author = {Joel Walsh and Siddarth Mamidanna and Benjamin Nye and Mark Core and Daniel Auerbach},
journal= {arXiv preprint arXiv:2508.04063},
year = {2025}
}
备注
Proceedings of the Second Workshop on Automated Evaluation of Learning and Assessment Content co-located with 26th International Conference on Artificial Intelligence in Education (AIED 2025)