构建效率流水线：Transformer 效率算子的交换性与累积性
计算与语言
2022-08-02 v1 机器学习
摘要
针对自然语言处理（NLP）任务存在多种多样的效率方法，如剪枝、蒸馏、动态推理、量化等。我们可以将一种效率方法视为作用于模型上的算子。自然地，我们可以构建由多种效率方法组成的流水线，即依次在模型上应用多个算子。本文研究这一想法的可行性，更重要的是，研究效率算子的交换性与累积性。我们有两个有趣的发现：（1）效率算子是可交换的——流水线中效率方法的顺序对最终结果影响甚微；（2）效率算子也是可累积的——组合若干效率方法的最终结果可通过组合各单独方法的结果来估计。这些观察加深了我们对效率算子的理解，并为其实际应用提供了有用的指导。
引用
@article{arxiv.2208.00483,
title = {Building an Efficiency Pipeline: Commutativity and Cumulativeness of Efficiency Operators for Transformers},
author = {Ji Xin and Raphael Tang and Zhiying Jiang and Yaoliang Yu and Jimmy Lin},
journal= {arXiv preprint arXiv:2208.00483},
year = {2022}
}