EchoLSTM：用于稳定长程记忆的自反省循环网络
机器学习
2025-11-05 v1
摘要
标准循环神经网络，包括LSTM，难以建模包含噪声或误导性信息的序列中的长程依赖关系。我们提出了一种新的架构原则，即输出条件化门控，使模型能够通过基于自身过去推断来调制其内部记忆门控，从而进行自我反思。这创建了一个增强记忆保留的稳定反馈循环。我们的最终模型EchoLSTM将这一原则与注意力机制集成。我们在一系列具有挑战性的基准测试上评估了EchoLSTM。在一个定制的干扰信号任务上，EchoLSTM实现了69.0%的准确率，显著超过标准LSTM基线33个百分点。此外，在标准ListOps基准上，EchoLSTM实现了与现代Transformer模型相当的性能，69.8% vs. 71.8%，同时参数效率是其5倍以上。最后的触发灵敏度测试提供了定性证据，表明模型的自反省机制导致其记忆系统具有根本性的更强鲁性。
引用
@article{arxiv.2511.01950,
title = {EchoLSTM: A Self-Reflective Recurrent Network for Stabilizing Long-Range Memory},
author = {Prasanth K K and Shubham Sharma},
journal= {arXiv preprint arXiv:2511.01950},
year = {2025}
}
备注
11 pages, 4 figures, 5 tables