LLaMa-SciQ: 用于解答科学选择题的教育聊天机器人
人工智能
2024-09-26 v1
摘要
大型语言模型（LLM）在需要数学推理的任务中常常遇到困难，尤其是选择题（MCQ）。为了解决这个问题，我们开发了 LLaMa-SciQ，这是一个旨在帮助大学生解答和理解 STEM 领域选择题的教育聊天机器人。我们首先对模型进行微调并使其与人类偏好对齐。在比较了 Mistral-7B 和 LLaMa-8B 的性能后，由于后者具有更高的评估准确率，我们选择其作为基础模型。为了进一步提高准确率，我们实现了检索增强生成（RAG）并应用量化来压缩模型，从而减少推理时间并提高学生的可及性。在数学推理方面，LLaMa-SciQ 在 GSM8k 数据集上达到了 74.5% 的准确率，在 MATH 数据集上达到了 30%。然而，RAG 并没有提高性能，甚至降低了性能，这可能是由于检索器问题或模型对上下文不熟悉。尽管如此，量化后的模型仅表现出 5% 的性能损失，这表明其在效率上有显著提升。
引用
@article{arxiv.2409.16779,
title = {LLaMa-SciQ: An Educational Chatbot for Answering Science MCQ},
author = {Marc-Antoine Allard and Matin Ansaripour and Maria Yuffa and Paul Teiletche},
journal= {arXiv preprint arXiv:2409.16779},
year = {2024}
}