HiRoPE：使用层次化位置进行代码模型的长度外推

解决代码相关任务中大语言模型上下文长度的限制是本文的主要焦点。现有的 LLM 受其预训练上下文长度的限制，导致在处理长而复杂的代码序列时出现性能问题。受人类程序员浏览代码方式的启发，我们引入了层次化旋转位置嵌入，这是一种基于源代码层次结构将传统旋转位置嵌入增强为层次化格式的新方法。HiRoPE 可轻松集成到现有的 LLM 中，且无需额外的训练成本。我们的方法在各种 LLM 上进行了广泛评估，在语言建模和长代码补全等任务中展现出稳定的性能。我们还引入了一个包含真实代码项目的新型长代码理解任务，以期促进该代码相关领域的进一步发展。在理论和实验上，我们发现 HiRoPE 还解决了位置编码中的分布外问题。我们的 HiRoPE 显著扩展了 LLM 的上下文长度能力，使其能够在比训练长度呈指数级增长的长度上进行推理。