在教育中信任语言模型
计算与语言
2023-08-09 v1 人工智能
摘要
语言模型正被广泛应用于教育领域。尽管现代深度学习模型在问答任务上取得了非常好的性能,但有时也会出错。为避免向学生展示错误答案而造成误导,对这些模型的置信度——即预测概率——进行校准十分重要。在我们的工作中,我们提出在BERT之上使用XGBoost输出校正后的概率,所用特征基于注意力机制。我们的假设是,注意力流中所包含的的不确定性水平与模型回答本身的质量相关。
引用
@article{arxiv.2308.03866,
title = {Trusting Language Models in Education},
author = {Jogi Suda Neto and Li Deng and Thejaswi Raya and Reza Shahbazi and Nick Liu and Adhitya Venkatesh and Miral Shah and Neeru Khosla and Rodrigo Capobianco Guido},
journal= {arXiv preprint arXiv:2308.03866},
year = {2023}
}