权重极性即你所需：更快学习与迁移
机器学习
2023-06-01 v2 计算机视觉与模式识别
神经与进化计算
神经元与认知
摘要
自然智能（NI）在动态世界中蓬勃发展——它们学习迅速，有时仅需少量样本。相比之下，人工智能（AI）通常需要海量训练样本与计算力才能学习。NI 与 AI 之间何种设计原理差异导致了如此悬殊？本文探究权重极性的作用：发育过程以有利的极性配置初始化 NI；随着 NI 生长与学习，突触量级更新，但极性基本保持不变。我们通过仿真与图像分类任务证明，若权重极性被先验恰当地设定，则网络以更少时间与数据学习。我们也明确展示了先验设定权重极性对网络不利的情形。我们的工作从学习中统计与计算效率的视角阐明了权重极性的价值。
引用
@article{arxiv.2303.17589,
title = {Polarity is all you need to learn and transfer faster},
author = {Qingyang Wang and Michael A. Powell and Ali Geisa and Eric W. Bridgeford and Joshua T. Vogelstein},
journal= {arXiv preprint arXiv:2303.17589},
year = {2023}
}
备注
ICML camera-ready