基于在线凸优化的分布式动态关联记忆
机器学习
2025-12-01 v1 信号处理
摘要
关联记忆 (AM) 使能于提示-响应召回，最近被认识为现代神经网络架构如 Transformer 等关键机制。本文我们引入了分布式动态关联记忆 (DDAM) 的概念，将经典 AM 扩展到多个代理和时变数据流的设置中。在 DDAM 中，每个代理维持本地 AM，不仅要存储其自身的关联，还需根据指定的兴趣矩阵从其他代理中选择性地记忆信息。为解决此问题，我们提出一种新颖的基于树的分布式在线梯度下降算法，称为 DDAM-TOGD，使每个代理可通过指定路由树上的代理间通信随时更新其记忆。我们为 DDAM-TOGD 推导严格的性能保证，证明其在稳态环境下的亚线性静态懊悔，以及在非稳态环境下的路径长度相关的动态懊悔上界。这些理论结果阐明了通信延迟和网络结构如何影响性能。基于懊悔分析，我们进一步引入一种组合树设计策略，以优化路由树以最小化通信延迟，从而改善懊悔上界。数值实验表明，所提出的 DDAM-TOGD 框架在准确性和鲁棒性方面优于代表性在线学习基线，如基于共识的分布式优化，确认了所提出方法在动态、分布式环境中的优势。
引用
@article{arxiv.2511.23347,
title = {Distributed Dynamic Associative Memory via Online Convex Optimization},
author = {Bowen Wang and Matteo Zecchin and Osvaldo Simeone},
journal= {arXiv preprint arXiv:2511.23347},
year = {2025}
}