Hybrid-RACA：面向实时文本预测的混合检索增强组合辅助
计算与语言
2024-10-15 v3 人工智能
分布式、并行与集群计算
摘要
通过检索增强强化的大型语言模型（LLM）已在诸多应用中展现出优异性能。然而，这些模型的计算需求在将其应用于实时任务（如组合辅助）时构成了挑战。为此，我们提出 Hybrid Retrieval-Augmented Composition Assistance（Hybrid-RACA，混合检索增强组合辅助），一种用于实时文本预测的新颖系统，其通过检索增强记忆高效地结合云端 LLM 与较小的客户端模型。该集成使客户端模型能够借助 LLM 的能力与基于云端的数据生成更好的响应。同时，通过一种新颖的异步记忆更新机制，客户端模型可在无需等待云端响应的情况下向用户输入提供实时补全。我们在五个数据集上的实验表明，Hybrid-RACA 在保持低延迟的同时提供了强劲性能。
引用
@article{arxiv.2308.04215,
title = {Hybrid-RACA: Hybrid Retrieval-Augmented Composition Assistance for Real-time Text Prediction},
author = {Menglin Xia and Xuchao Zhang and Camille Couturier and Guoqing Zheng and Saravan Rajmohan and Victor Ruhle},
journal= {arXiv preprint arXiv:2308.04215},
year = {2024}
}
备注
Accepted at EMNLP 2024 Industry Track