位置感知：LLM 能控制长度、复制粘贴

大型语言模型 (LLM) 在角色扮演、创意写作、数学推理和编程等多个领域展现出惊人的能力。尽管如此，LLM 在长度控制方面仍面临挑战，常常无法遵循特定的长度限制，这源于其基于 token 的操作以及对数据中严格长度限制不足的训练。我们认识到这一问题的根源是位置感知不足，提出了新的方法——PositionID 提示和 PositionID 微调——来解决此问题。这些方法增强了模型在生成过程中持续监控和管理文本长度的能力。此外，我们引入 PositionID 复制粘贴提示，以启用 LLM 准确执行复制粘贴操作。我们还开发了两个用于评估长度控制和复制粘贴能力的基准。我们的实验表明，这些方法显著提高了模型遵循长度限制和复制粘贴准确性的能力，而不会影响响应质量。