无注意力机制的化学反应网络中出现情境学习
无序系统与神经网络
2026-01-13 v1 统计力学
分子网络
摘要
我们研究了化学过程是否可以执行情境学习（ICL），这是一种通常与 transformer 架构相关联的计算模式。ICL 允许系统从一系列示例中推断任务特定规则，而无需依赖固定参数。传统的 ICL 依赖于成对的注意力机制，这在化学系统中难以实现。然而，我们在理论和数值上表明，化学过程可以通过一种称为子空间投影的机制实现 ICL，在该机制中，整个输入向量映射到比较子空间，主导投影决定计算输出。我们在小型化学系统中对该机制进行了解析性说明，并在数值上表明性能对输入编码和动力学选择都具有鲁棒性，其中可调自由度数量是关键限制因素。我们的结果为在化学或其他物理介质中实现 ICL 提供了蓝图，并为设计基于非注意力机制的自适应合成化学系统以及理解细胞内可能的生物计算提供了新思路。
引用
@article{arxiv.2601.06712,
title = {In-context learning emerges in chemical reaction networks without attention},
author = {Carlos Floyd and Hector Manuel Lopez Rios and Aaron R. Dinner and Suriyanarayanan Vaikuntanathan},
journal= {arXiv preprint arXiv:2601.06712},
year = {2026}
}
备注
19 pages, 9 figures