OTAS：通过令牌自适应实现的弹性Transformer服务系统
分布式、并行与集群计算
2024-01-11 v1
摘要
基于Transformer模型的架构已成为云服务的支柱，持续重塑我们的社会。然而，动态的查询负载和异构的用户需求严重挑战了当前的Transformer服务系统，这些系统依赖于预训练基础模型的多个变体（即不同尺寸）来适应变化的服务需求。不幸的是，由于额外的训练成本和过高的I/O延迟，这种机制不适用于大型Transformer模型。本文介绍了OTAS，这是首个通过探索轻量级令牌管理为Transformer模型量身定制的弹性服务系统。我们提出了一种名为令牌自适应的新概念，通过添加提示令牌来提高准确性，并移除冗余令牌以加速推理。为应对波动的查询负载和多样化的用户请求，我们通过应用感知的选择性批处理和在线令牌自适应来增强OTAS。OTAS首先将具有相似服务水平目标的传入查询进行批处理，以提高入口吞吐量。然后，为了在令牌增量的开销与准确性提升潜力之间取得权衡，OTAS通过求解一个优化问题来自适应地调整令牌执行策略。我们使用多个数据集实现并评估了OTAS的原型，结果表明OTAS将系统效用提升了至少18.2%。
引用
@article{arxiv.2401.05031,
title = {OTAS: An Elastic Transformer Serving System via Token Adaptation},
author = {Jinyu Chen and Wenchao Xu and Zicong Hong and Song Guo and Haozhao Wang and Jie Zhang and Deze Zeng},
journal= {arXiv preprint arXiv:2401.05031},
year = {2024}
}
备注
Accepted by INFOCOM '24