FiDO：为更强性能与更快推理优化的解码融合模型
计算与语言
2023-06-06 v2 人工智能
机器学习
摘要
解码融合（FiD）是一种强大的检索增强语言模型，在许多知识密集型NLP任务上树立了最先进水平。然而，FiD所用架构通过对标准T5模型做最小修改选定，我们的分析显示其对检索增强模型高度次优。特别地，FiD将大部分FLOPs分配给编码器，而多数推理时间源于解码器中内存带宽限制。我们提出对FiD架构的两处简单改动以缓解内存带宽限制，并将推理加速7倍。这使我们能以适度代价使用大得多的解码器。我们将含上述改动的FiD记为FiDO，并展示其在广泛推理预算下相较现有FiD模型强力提升性能。例如，FiDO-Large-XXL推理快于FiD-Base且取得优于FiD-Large的性能。
引用
@article{arxiv.2212.08153,
title = {FiDO: Fusion-in-Decoder optimized for stronger performance and faster inference},
author = {Michiel de Jong and Yury Zemlyanskiy and Joshua Ainslie and Nicholas FitzGerald and Sumit Sanghai and Fei Sha and William Cohen},
journal= {arXiv preprint arXiv:2212.08153},
year = {2023}
}
备注
ACL Findings 2023