超越保留精度：评估 BERT 压缩的忠诚性与鲁棒性
计算与语言
2021-10-05 v2 人工智能
机器学习
摘要
近期关于预训练语言模型（如 BERT）压缩的研究通常使用保留精度作为评估指标。在本文中，我们提出两个新指标——标签忠诚性与概率忠诚性，用于衡量压缩模型（即学生模型）在多大程度上模仿原始模型（即教师模型）。我们还探讨了压缩在对抗攻击下鲁棒性方面的影响。我们使用忠诚性与鲁棒性对量化、剪枝、知识蒸馏和渐进式模块替换进行基准测试。通过结合多种压缩技术，我们提供了一种实用策略，以实现更好的精度、忠诚性与鲁棒性。
引用
@article{arxiv.2109.03228,
title = {Beyond Preserved Accuracy: Evaluating Loyalty and Robustness of BERT Compression},
author = {Canwen Xu and Wangchunshu Zhou and Tao Ge and Ke Xu and Julian McAuley and Furu Wei},
journal= {arXiv preprint arXiv:2109.03228},
year = {2021}
}
备注
Accepted to EMNLP 2021 (main conference)