用于持续学习的 Minion 门控循环单元
机器学习
2025-03-11 v1 人工智能
摘要
对序列数据处理中持续学习日益增长的需求导致了日益复杂的训练方法和更大的循环网络架构。因此，这扩大了循环神经网络 (RNN) 的持续学习与其在内存和计算受限设备上运行能力之间的知识差距。为了应对这一挑战，我们研究了简化 RNN 架构（特别是门控循环单元 (GRU)）的有效性，及其对单任务和多任务序列学习的影响。我们提出了一种新的 GRU 变体，即 minion 循环单元 (MiRU)。MiRU 用缩放系数取代了传统的门控机制来调节隐藏状态和历史上下文的动态更新，从而降低了计算成本和内存需求。尽管其架构得到了简化，但 MiRU 保持了与标准 GRU 相当的性能，同时如序列图像分类和自然语言处理基准上的评估所示，训练速度提高了 2.90 倍，参数使用量减少了 2.88 倍。还通过使用基于排练的策略和全局抑制执行持续学习任务，研究了模型简化对其学习能力的影响。我们发现，与标准 GRU 及其变体不同，MiRU 即使仅使用排练策略，在多任务学习中也表现出稳定的性能。这些特性使 MiRU 成为边缘设备应用的有力候选者。
引用
@article{arxiv.2503.06175,
title = {Minion Gated Recurrent Unit for Continual Learning},
author = {Abdullah M. Zyarah and Dhireesha Kudithipudi},
journal= {arXiv preprint arXiv:2503.06175},
year = {2025}
}