寻找SWEET点：低资源场景下自适应推理的分析与改进
计算与语言
2023-06-06 v1 人工智能
机器学习
摘要
自适应推理是一种降低推理成本的简单方法。该方法通过维护多个不同容量的分类器，并根据每个测试实例的难度分配资源来工作。在本工作中，我们在训练数据有限的情况下比较了自适应推理的两种主要方法：Early-Exit 与 Multi-Model。首先，我们观察到对于具有相同架构和大小的模型，独立的 Multi-Model 分类器平均优于其 Early-Exit 对应分类器 2.3%。我们表明这一差距是由 Early-Exit 分类器在训练期间共享模型参数所致，导致了模型权重的梯度更新冲突。我们发现尽管存在这一差距，由于 Multi-Model 方法存在开销，Early-Exit 仍提供了更好的速度-精度权衡。为解决这些问题，我们提出 SWEET（Separating Weights in Early Exit Transformers），一种 Early-Exit 微调方法，其为每个分类器分配其独有的一组模型权重，且不被其他分类器更新。我们将 SWEET 的速度-精度曲线与标准 Early-Exit 和 Multi-Model 基线进行比较，发现其在快速推理时优于两种方法，同时在慢速推理时保持与 Early-Exit 相当的分数。此外，SWEET 的独立分类器平均优于 Early-Exit 分类器 1.1%。SWEET 兼具两种方法之长，为在自然语言处理（NLP）中进一步降低推理成本铺平了道路。
引用
@article{arxiv.2306.02307,
title = {Finding the SWEET Spot: Analysis and Improvement of Adaptive Inference in Low Resource Settings},
author = {Daniel Rotem and Michael Hassid and Jonathan Mamou and Roy Schwartz},
journal= {arXiv preprint arXiv:2306.02307},
year = {2023}
}
备注
Proceedings of ACL 2023