重访并行上下文窗口：一种令人惊讶地简单的替代方案与思维链退化
计算与语言
2023-05-25 v1
摘要
我们指出了近期并行集成方法 Parallel Context Windows (PCW) 评估中的两个关键局限，该方法通过利用窗口式注意力与位置嵌入技术扩展了语言模型的最大上下文长度（例如 LLaMA 为 2048）。我们首先表明，对于上下文少样本分类，一个简单却强大的基线——加权和集成——被遗漏了。此外，在更具挑战性的思维链 (CoT) 推理（例如 HotpotQA）上，PCW 会表现出关于问题误解与错误推断的意外退化。基于我们的发现，我们认为现有的 PCW 设计可能无法保证在真实世界应用中处理长文档时获得充分的改进与实用性。社区应投入更多努力来赋予语言模型长上下文理解能力。
引用
@article{arxiv.2305.15262,
title = {Revisiting Parallel Context Windows: A Frustratingly Simple Alternative and Chain-of-Thought Deterioration},
author = {Kejuan Yang and Xiao Liu and Kaiwen Men and Aohan Zeng and Yuxiao Dong and Jie Tang},
journal= {arXiv preprint arXiv:2305.15262},
year = {2023}
}