RevMUX：基于可逆适配器的数据多路复用以提高大语言模型批处理推理效率
计算与语言
2024-10-08 v1
摘要
大型语言模型（LLM）为自然语言处理（NLP）社区带来了重要突破，但也带来了处理并发客户查询的挑战 due to 其高吞吐量需求。数据多路复用通过合并多个输入为单个复合输入来解决此问题，从而通过共享前向传递实现更高效的推理。然而，由于从复合输入中区分个体样本具有挑战性，传统方法通常需要训练整个主干网络，却仍会出现性能下降。本文引入 RevMUX，一个参数高效的数据多路复用框架，在 multiplexer 中引入可逆设计，demultiplexer 可借此执行逆运算以恢复分类所需的单个样本。对四个数据集和三种 LLM 主干进行大量实验表明，RevMUX 在保持满意分类性能的同时，有效提升了 LLM 推理效率。
引用
@article{arxiv.2410.04519,
title = {RevMUX: Data Multiplexing with Reversible Adapters for Efficient LLM Batch Inference},
author = {Yige Xu and Xu Guo and Zhiwei Zeng and Chunyan Miao},
journal= {arXiv preprint arXiv:2410.04519},
year = {2024}
}
备注
EMNLP 2024 Main Conference