永不重置：循环神经网络持续推断的数学框架
机器学习
2024-12-23 v1 人工智能
摘要
循环神经网络（RNNs）广泛用于序列处理，但面临着状态饱和的根本限制，需在推断时进行 disruptive 隐藏状态重置。然而，基于重置的方法需要与输入边界同步，并增加推断时的计算成本。为此，我们提出一种自适应损失函数，在推断期间无需重置即可保持在扩展序列上的高准确率。通过结合交叉熵和KL散度，损失函数可动态调制基于输入信息性的梯度，使网络能够区分有意义的数据与噪声，并在时间维度上保持稳定的表示。实验结果表明，我们的无重置方法在应用到多种RNNs时优于传统基于重置的方法，特别是在持续任务中，既提升了RNNs在流式应用中的理论能力，也增强了实际能力。
引用
@article{arxiv.2412.15983,
title = {Never Reset Again: A Mathematical Framework for Continual Inference in Recurrent Neural Networks},
author = {Bojian Yin and Federico Corradi},
journal= {arXiv preprint arXiv:2412.15983},
year = {2024}
}