GRU 中的对比增强门控用于鲁棒的低数据序列学习
机器学习
2026-04-29 v3 人工智能
摘要
激活函数控制着循环网络如何跨时间依赖关系调节和传递信息。尽管序列建模取得了进展，门控循环单元 (GRU) 仍然依赖于标准的 sigmoid 和 tanh 非线性函数，这可能导致门分离较弱和学习不稳定，尤其是在训练数据有限时。我们引入了平方 sigmoid-tanh (SST)，这是一种无参数的激活函数，通过对门控非线性进行平方来增加近零激活和高激活之间的对比度，从而在 GRU 更新期间促进更清晰的信息过滤。我们将 SST 整合到 GRU 门控中，并在涵盖手语识别、人类活动识别以及时间序列预测和分类的低数据场景下对其进行评估。在所有任务中，SST-GRU 始终优于标准的 sigmoid/tanh GRU，在数据量最小的领域改进最大，同时增加的计算成本可忽略不计。我们进一步检查了门激活统计和训练动态，表明 SST 提高了训练稳定性，这与其在数据稀缺环境下的性能提升相一致。SST 是一种无参数修改，通过提高低数据序列学习中的门控选择性，补充了更复杂的架构进步。
引用
@article{arxiv.2402.09034,
title = {Contrast-Enhanced Gating in GRUs for Robust Low-Data Sequence Learning},
author = {Barathi Subramanian and Rathinaraja Jeyaraj and Anand Paul},
journal= {arXiv preprint arXiv:2402.09034},
year = {2026}
}
备注
43rd The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2026)