基于大语言模型蒸馏和反事实对比解码的无监督干扰项生成
计算与语言
2024-06-04 v1
摘要
在阅读理解语境中，干扰项生成（DG）旨在生成几个错误选项来混淆读者。传统的监督方法 for DG 依赖大量的人工标注干扰项。在本文中，我们提出一种无监督DG框架，利用大语言模型（LLM）作为成本有效的标注者来增强小型学生模型的DG能力。特别地，为了进行知识蒸馏，我们提出一种双任务训练策略，将来自LLM的伪干扰项和原始答案信息作为目标目标进行 two-stage 训练。此外，我们构思了一种反事实对比解码机制来增加DG模型的干扰能力。实验表明，我们的无监督生成方法在BART-base上优于GPT-3.5-turbo，仅使用了200倍更少的参数。我们提出的无监督DG方法为实际的阅读理解应用提供了一种成本有效的框架，无需繁琐的干扰项标注和高成本的大型模型。
引用
@article{arxiv.2406.01306,
title = {Unsupervised Distractor Generation via Large Language Model Distilling and Counterfactual Contrastive Decoding},
author = {Fanyi Qu and Hao Sun and Yunfang Wu},
journal= {arXiv preprint arXiv:2406.01306},
year = {2024}
}
备注
Accepted as a long paper in ACL 2024 findings