面向领域特定问答的 BERT 微调：迈向大学规模的教育 NLP 资源
计算与语言
2025-12-08 v1 人工智能
摘要
先前关于科学问答的工作主要强调聊天机器人式系统，对微调基础模型以实现领域特定推理的探索有限。在本研究中，我们为利默里克大学电子与计算机工程系开发了一个聊天机器人，以向学生提供课程信息。使用大学模块手册构建了一个包含 1,203 个 SQuAD 格式问答对的自定义数据集，并辅以手动和合成生成的条目。我们使用 PyTorch 微调了 BERT（Devlin et al., 2019），并使用 Exact Match 和 F1 分数评估了性能。结果表明，即使是适度的微调也能改善假设构建和知识提取，证明了将基础模型适应于教育领域的可行性。虽然存在用于生物医学和科学文献的领域特定 BERT 变体（如 BioBERT 和 SciBERT），但尚无基础模型针对大学课程材料进行定制。我们的工作通过展示使用学术问答对微调 BERT 可产生有效结果来填补这一空白，突出了向首个大学领域特定问答模型扩展的潜力，并实现自主教育知识系统。
引用
@article{arxiv.2512.05179,
title = {Fine-Tuning BERT for Domain-Specific Question Answering: Toward Educational NLP Resources at University Scale},
author = {Aurélie Montfrond},
journal= {arXiv preprint arXiv:2512.05179},
year = {2025}
}
备注
4 pages, 2 figures