受神经发生启发的字典学习：变化世界中的在线模型自适应
机器学习
2018-02-07 v2 人工智能
计算机视觉与模式识别
神经与进化计算
机器学习
摘要
在本文中，我们关注非平稳环境中的在线表示学习，这可能需要模型架构的持续自适应。我们提出了一种新颖的在线字典学习（稀疏编码）框架，它融合了隐藏单元（字典元素）的添加与删除，其灵感来自海马齿状回的成年神经发生现象，该现象已知与改善认知功能及适应新环境相关。在在线学习设置中，新的输入实例以批量形式顺序到达，神经元出生通过添加具有随机初始权重的新单元（随机字典元素）来实现；新单元的数量由字典的当前性能（表示误差）决定，误差越高导致出生率增加。神经元死亡通过在每次迭代的在线交替最小化方案中对字典施加 l1/l2 正则化（组稀疏）来实现，该方案在代码与字典更新之间迭代，并在块坐标下降优化中执行。最后，通过引入字典元素中的稀疏性来促进隐藏单元连接自适应。我们在多个真实数据集（图像和语言）以及合成数据上的实证评估表明，在非平稳数据存在的情况下，所提出的方法可以显著优于 Mairal 等人 (2009) 的最先进的固定大小（非自适应）在线稀疏编码。此外，我们确定了与此类改进相关的数据的某些属性（例如，具有近乎不重叠支撑的稀疏输入）和模型的某些属性（例如，字典稀疏性）。
引用
@article{arxiv.1701.06106,
title = {Neurogenesis-Inspired Dictionary Learning: Online Model Adaption in a Changing World},
author = {Sahil Garg and Irina Rish and Guillermo Cecchi and Aurelie Lozano},
journal= {arXiv preprint arXiv:1701.06106},
year = {2018}
}