针对长序列建模的块状感知状态驱逐：CItruS

随着大型语言模型（LLM）的不断进步，长序列建模受到广泛关注。最近的研究发现，Transformer 模型键值缓存中大量隐藏状态可以在生成长序列时被丢弃（即驱逐），而不会影响生成性能。然而，我们表明，这些方法尽管保持了困惑度性能，却常常丢弃了解决下游任务所必需的信息，这是一种被称为信息忽略的问题。为此，我们引入块状感知状态驱逐（Chunked Instruction-aware State Eviction, CItruS），一种新型建模技术，将有助于下游任务的注意力偏好直接整合到隐藏状态驱逐过程中。此外，我们设计了一种块状序列处理方法以进一步提高效率。我们的训练自由方法在相同的内存预算下，优于多个强大基线，在长序列理解和检索任务上表现出色，同时保持语言模型困惑度。代码和数据已发布于 https://github.com/ybai-nlp/CItruS。