LLM 处理列表：通用过滤头机制

我们探讨了 LLM 在多种列表处理任务中的机制，我们发现 LLM 已学习编码一种紧凑、因果的过滤操作表示，这种表示镜像了函数式编程中通用"filter"函数的工作方式。通过对多样化的列表处理任务进行因果中介分析，我们发现少数注意力头——我们称为过滤头——在特定标记的查询状态中对过滤谓词进行紧凑编码。我们展示了这种谓词表示是通用且可移植的：它可以被提取并重新应用，以在不同集合、不同格式、不同语言中执行相同的过滤操作，甚至在其他任务中发挥作用。然而，我们也识别出 LLM 可以利用不同策略进行过滤的情况：即在项目满足谓词时，主动评估并将此中间结果存储为项目表示中的标志。我们的结果表明，Transformer 语言模型可以发展出人类可解释的抽象计算操作实现方式，这些实现方式在概括性方面以方式惊人地类似于传统函数式编程模式中所使用的策略。