CREST：有效压缩检索式投机解码数据存储器
计算与语言
2024-08-12 v1 人工智能
数据库
摘要
我们提出了CREST（Compact Retrieval-Based Speculative Decoding，即压缩检索式投机解码），这是一种对REST的重新设计，使其能够有效地进行“压缩”。REST是一种基于从数据存储器中检索目标大语言模型（LLM）最近生成的n个标记的精确n-gram匹配项的投机解码草拟技术。CREST的关键思想是仅存储数据存储器中最小且最常见的n-gram子集，以期在更少的存储空间下实现可望的性能。我们发现，存储n-gram的子集既减少了存储空间，又提高了性能。CREST在保持与REST相同接受标记长度的同时，仅使用10.6-13.5倍更少的存储空间，并在HumanEval和MT Bench基准测试中实现了16.5-17.1%更高的接受长度。
引用
@article{arxiv.2408.04678,
title = {CREST: Effectively Compacting a Datastore For Retrieval-Based Speculative Decoding},
author = {Sophia Ho and Jinsol Park and Patrick Wang},
journal= {arXiv preprint arXiv:2408.04678},
year = {2024}
}