通过词元消除优化检索增强型阅读器模型
计算与语言
2023-11-07 v2 人工智能
机器学习
摘要
Fusion-in-Decoder（FiD）是一种有效的检索增强型语言模型，应用于多种开放域任务，如问答、事实验证等。在 FiD 中，首先检索支持段落，然后使用生成模型（阅读器）处理，这可能在解码时间上造成显著瓶颈，尤其当输出较长时。在本工作中，我们分析所有检索段落对阅读器模型性能的贡献与必要性，并提议在词元层面消除部分可能未对答案生成过程贡献关键信息的检索内容。我们证明，该方法可将运行时间减少至多 62.2%，仅造成 2% 的性能下降，且在某些情况下甚至提升性能结果。
引用
@article{arxiv.2310.13682,
title = {Optimizing Retrieval-augmented Reader Models via Token Elimination},
author = {Moshe Berchansky and Peter Izsak and Avi Caciularu and Ido Dagan and Moshe Wasserblat},
journal= {arXiv preprint arXiv:2310.13682},
year = {2023}
}
备注
EMNLP 2023 Main Conference