重新审视神经网络强盗聚类：选择性重初始化以缓解塑性丧失
机器学习
2025-12-03 v3 人工智能
机器学习
摘要
强盗聚类 (CB) 方法通过根据相似性将强盗分组并融入聚类级别的上下文信息来增强序贯决策，在个性化流媒体推荐等应用中展示了有效性和适应性。然而，当将 CB 算法扩展到其神经网络版本（通常称为神经网络强盗聚类，CNB）时，它们会遭受塑性丧失，即神经网络参数随时间变得僵化和适应性降低，限制了其适应非平稳环境（例如推荐中的动态用户偏好）的能力。为应对这一挑战，我们提出了选择性重初始化 (SeRe)，一种新颖的强盗学习框架，能够动态保持 CNB 算法在演化环境中的适应性。SeRe 利用贡献效用度量来识别并选择性重置利用率低的单元，在缓解塑性丧失的同时保持稳定知识保持。此外，当将 SeRe 与 CNB 算法结合时，自适应变化检测机制根据非平稳程度调整重初始化频率，确保有效适应而无需不必要的重置。从理论上，我们证明了 SeRe 在分段平稳环境中能够实现次线性累积遗憾，在长期性能上优于传统 CNB 方法。在六个真实世界推荐数据集上的大量实验表明，SeRe 增强的 CNB 算法能够有效缓解塑性丧失并降低遗憾，在动态环境中提升了适应性和鲁棒性。
引用
@article{arxiv.2506.12389,
title = {Revisiting Clustering of Neural Bandits: Selective Reinitialization for Mitigating Loss of Plasticity},
author = {Zhiyuan Su and Sunhao Dai and Xiao Zhang},
journal= {arXiv preprint arXiv:2506.12389},
year = {2025}
}
备注
Accepted by KDD 2025