基于上下文内 BERT 微调的阅读理解自动评分
机器学习
2023-06-16 v2 人工智能
计算机与社会
摘要
开放式学生作答的自动评分有潜力显著减少人工评分负担。自动评分的近期进展常利用基于 BERT 与 GPT 等预训练语言模型的文本表示作为评分模型输入。多数现有方法为每个题目/问题训练单独模型，这适用于如作文评分般题目彼此差异较大的场景。然而，这些方法有两方面局限：1）未能利用题目关联——如阅读理解中多题共享同一阅读篇章的场景；2）不可扩展，因为当模型参数量大时按题存储一个模型变得困难。本文汇报我们（获大奖的）针对国家教育进展评估（NAEP）阅读理解自动评分挑战赛的解决方案。我们的方法——上下文内 BERT 微调——通过精心设计的输入结构提供各题上下文信息，为所有题目生成单一共享评分模型。我们利用挑战赛所提供的训练集通过本地评估证明了方法的有效性。我们也讨论了方法的偏差、常见错误类型与局限。
引用
@article{arxiv.2205.09864,
title = {Automated Scoring for Reading Comprehension via In-context BERT Tuning},
author = {Nigel Fernandez and Aritra Ghosh and Naiming Liu and Zichao Wang and Benoît Choffin and Richard Baraniuk and Andrew Lan},
journal= {arXiv preprint arXiv:2205.09864},
year = {2023}
}
备注
Published as a conference paper at AIED 2022. A grand prize-winner for the NAEP AS Challenge. Code available at: https://github.com/ni9elf/automated-scoring