模型压缩能否改善 NLP 公平性
计算与语言
2022-01-24 v1
摘要
模型压缩技术正受到越来越多的关注；然而，压缩对模型公平性的影响仍待探索。本文是首篇考察蒸馏和剪枝对生成式语言模型毒性与偏见影响的论文。我们在 GPT2 模型上测试了知识蒸馏和剪枝方法，发现模型蒸馏后毒性和偏见降低的一致模式；这一结果可由现有将模型压缩描述为正则化技术的研究线来解释；我们的工作不仅为压缩模型的安全部署提供了参考，还将“压缩即正则化”的讨论扩展到了神经语言模型的设定中，并暗示了使用压缩开发更公平模型的可能性。
引用
@article{arxiv.2201.08542,
title = {Can Model Compression Improve NLP Fairness},
author = {Guangxuan Xu and Qingyuan Hu},
journal= {arXiv preprint arXiv:2201.08542},
year = {2022}
}