具有自动软参数重置的神经网络非平稳学习
机器学习
2024-11-11 v1 人工智能
摘要
神经网络传统上在假设数据来自平稳分布的条件下进行训练。然而，违反该假设的设置正变得越来越流行；例子包括分布偏移下的监督学习、强化学习、持续学习和非平稳上下文多臂赌博机。在本工作中，我们提出了一种新颖的学习方法，通过具有自适应漂移参数的奥恩斯坦-乌伦贝克过程自动建模并适应非平稳性。自适应漂移倾向于将参数拉向初始化分布，因此该方法可被视为一种软参数重置的形式。我们通过实验证明，该方法在非平稳监督学习和离线强化学习设置中表现良好。
引用
@article{arxiv.2411.04034,
title = {Non-Stationary Learning of Neural Networks with Automatic Soft Parameter Reset},
author = {Alexandre Galashov and Michalis K. Titsias and András György and Clare Lyle and Razvan Pascanu and Yee Whye Teh and Maneesh Sahani},
journal= {arXiv preprint arXiv:2411.04034},
year = {2024}
}