自模型在神经网络系统中的意外收益
机器学习
2024-07-25 v2
摘要
自模型已是人类认知研究数十年来备受关注的主题，近年来在机器学习中也逐渐受到重视。然而，自模型到底带来了哪些好处？本文表明，当人工神经网络以辅助任务学习预测自身内部状态时，其结构会发生根本性变化。为了更好地完成自模型任务，网络会学习使其自身更简单、更正则、更参数高效，从而更易被预测性地建模。为检验通过自建模实现自正则化的假设，我们使用多种网络架构在两个模态上进行三项分类任务。所有情况下，加入自建模均导致网络复杂度显著降低。复杂度降低的观察方式包括：首先，在自建模存在时，权重分布更窄；其次，衡量网络复杂度的指标——实数规范阈值（RLCT）——在自建模条件下更小。不仅复杂度指标降低了，随着对自建模辅助任务的训练权重增加，降低幅度也会显著增大。这些结果强有力地支持了自建模不仅仅是网络学习预测自身的假设。学习具有重构效应，降低复杂度并提高参数效率。这种自正则化可能有助于解释近期机器学习文献中自模型的一些好处，以及自模型在生物系统中的适应性价值。特别是，这些发现可能阐明了自我建模能力与他人更轻易地对其进行建模（在社交或合作情境中）之间的可能相互作用。
引用
@article{arxiv.2407.10188,
title = {Unexpected Benefits of Self-Modeling in Neural Systems},
author = {Vickram N. Premakumar and Michael Vaiana and Florin Pop and Judd Rosenblatt and Diogo Schwerz de Lucena and Kirsten Ziman and Michael S. A. Graziano},
journal= {arXiv preprint arXiv:2407.10188},
year = {2024}
}