需求即所需：稳态神经网络适应概念漂移
机器学习
2024-12-24 v2 人工智能
神经与进化计算
摘要
在生物体中，稳态是对内部状态的天然调节，旨在维持与生命相容的条件。典型人工系统未配备可类比的调节特征。本文引入一种融合稳态特征的人工神经网络。其自身计算基质被置于与其所计算对象之间的匮乏且脆弱的关系中。例如，执行MNIST数字或Fashion-MNIST服饰分类的人工神经元可能接收兴奋性或抑制性作用，这些作用因其感知并分类数字而直接改变其自身学习率。在此情境中，准确识别对智能体自身是可取的，因其引导调节其脆弱内部状态与功能的决策。反直觉地，向学习器添加脆弱性未必损害其性能；相反，对脆弱性的自我调节在特定条件下带来益处。我们表明稳态设计在概念漂移（标签与数据间关系随时间变化）下赋予更强的适应性，且最高漂移速率下获益最大，这需要快速遗忘过去关联并重新学习新关联。我们还展示了稳态学习器在具有动态变化概念漂移速率环境中的优越能力。我们的稳态设计使人工神经网络的思维机制暴露于其自身“思维”的后果之下，阐释了以自身“切身利益”置于局中来提升流体智力的优势。
引用
@article{arxiv.2205.08645,
title = {Need is All You Need: Homeostatic Neural Networks Adapt to Concept Shift},
author = {Kingson Man and Antonio Damasio and Hartmut Neven},
journal= {arXiv preprint arXiv:2205.08645},
year = {2024}
}