基于生物启发随机共调制的任务适应
机器学习
2023-11-28 v1 计算机视觉与模式识别
摘要
大脑表征必须在泛化性与适应性之间取得平衡。神经编码捕捉世界中普遍的统计规律，同时动态调整以反映当前目标。这种适应的一个方面是基于任务相关性对神经元增益进行随机共调制。这些波动随后向下游传播以指导决策。在此，我们在多任务学习的背景下检验此类方案的计算可行性。我们表明，通过随机增益调制微调卷积网络优于确定性增益调制，在 CelebA 数据集上取得了最先进（state-of-the-art）的结果。为了更好地理解支持该改进的机理，我们使用 Cifar-100 探究了架构如何影响微调性能。总体而言，我们的结果表明随机共调制可在多任务学习中提升学习效率和性能，且无需额外可学习参数。这为开发更灵活、更鲁棒的智能系统提供了一个有前景的新方向。
引用
@article{arxiv.2311.15053,
title = {Task adaption by biologically inspired stochastic comodulation},
author = {Gauthier Boeshertz and Caroline Haimerl and Cristina Savin},
journal= {arXiv preprint arXiv:2311.15053},
year = {2023}
}