带投影的增强：面向蒸馏的高效有效数据增强范式
计算与语言
2023-03-14 v2 人工智能
摘要
知识蒸馏是将知识从大模型迁移到小模型的主要方法之一。然而，它需要大量的任务特定数据，这在许多现实应用中可能难以实现。表示插值、词元替换或基于模型的增强等数据增强方法被用于解决此问题。但这些数据增强方法要么可能引起决策边界偏移（表示插值），要么表达力不足（词元替换），要么引入过多计算开销（基于模型的增强）。为此，我们提出AugPro（带投影的增强），一种面向蒸馏的高效有效数据增强方法。我们的方法构建于表示插值增强方法之上以保持表达多样性，并将增强数据转换为词元以避免决策边界偏移。它使用附带极少计算开销的简单操作。在多个GLUE任务上的结果表明，我们的方法能以低时间成本大幅改善蒸馏性能。代码见https://github.com/google-research/google-research/tree/master/augpro。
引用
@article{arxiv.2210.11768,
title = {Augmentation with Projection: Towards an Effective and Efficient Data Augmentation Paradigm for Distillation},
author = {Ziqi Wang and Yuexin Wu and Frederick Liu and Daogao Liu and Le Hou and Hongkun Yu and Jing Li and Heng Ji},
journal= {arXiv preprint arXiv:2210.11768},
year = {2023}
}
备注
20 pages, 5 figures. Accepted by ICLR 2023