长上下文任务是否必须依赖长LLM？
计算与语言
2024-05-27 v1 人工智能
摘要
尽管最近取得了进展，但长LLM的学习和部署仍然是一个具有挑战性的问题。在这项工作中，我们认为长LLM并非解决长上下文任务的必要条件，因为常见的长期上下文任务是短上下文可解的，即它们可以通过仅处理长上下文任务输入中的oracle短上下文来解决。基于这一论点，我们提出了一个名为LC-Boost（长上下文引导器）的框架，该框架使短LLM能够以引导方式处理长上下文任务。在我们的框架中，短LLM自我提示以推理两个关键决策：1）如何访问输入中上下文的适当部分，2）如何有效利用所访问的上下文。通过根据呈现的任务自适应地访问和利用上下文，LC-Boost可以作为处理多样化长上下文处理问题的通用框架。我们全面评估了来自流行长上下文基准的不同类型任务，其中LC-Boost能够以更少的资源消耗实现显著改进的性能。
引用
@article{arxiv.2405.15318,
title = {Are Long-LLMs A Necessity For Long-Context Tasks?},
author = {Hongjin Qian and Zheng Liu and Peitian Zhang and Kelong Mao and Yujia Zhou and Xu Chen and Zhicheng Dou},
journal= {arXiv preprint arXiv:2405.15318},
year = {2024}
}
备注
18 pages