基于知识蒸馏的中文语法纠错
计算与语言
2022-09-01 v4 人工智能
摘要
针对现有中文语法纠错模型在攻击测试集上鲁棒性差且模型参数大的问题，本文采用知识蒸馏方法压缩模型参数并提升模型的抗攻击能力。在数据方面，通过将扰动融入标准评测数据集来构建攻击测试集，并利用攻击测试集评估模型鲁棒性。实验结果表明，蒸馏后的小模型在减少模型参数数量的前提下能够保证性能并提升训练速度，在攻击测试集上取得最优效果，鲁棒性显著提升。代码见 https://github.com/Richard88888/KD-CGEC。
引用
@article{arxiv.2208.00351,
title = {Chinese grammatical error correction based on knowledge distillation},
author = {Peng Xia and Yuechi Zhou and Ziyan Zhang and Zecheng Tang and Juntao Li},
journal= {arXiv preprint arXiv:2208.00351},
year = {2022}
}
备注
9 pages, 4 figures, 5 tables