更新还是不更新？深度模型中的神经元平衡态
机器学习
2022-11-15 v3 人工智能
摘要
深度学习优化的最新进展表明，在获得全训练模型的一些后验信息后，仅通过训练其中部分参数即可匹配相同性能。此类发现从理论到应用具有广泛影响，推动研究朝向无需前瞻信息利用便能识别最小训练参数子集的方法发展。然而，所提出的方法未能匹配最先进性能，且依赖于非结构化的稀疏连接模型。在本工作中，我们将焦点从单个参数转移到整个神经元的行为，利用神经元平衡态（NEq）的概念。当神经元处于平衡态配置时（即其已学到特定的输入-输出关系），我们可以停止其更新；相反，当神经元处于非平衡态时，我们让其状态演化为平衡态，更新其参数。所提方法已在多种最先进学习策略与任务上测试，验证了 NEq 并观察到神经元平衡态依赖于具体的学习设置。
引用
@article{arxiv.2207.09455,
title = {To update or not to update? Neurons at equilibrium in deep models},
author = {Andrea Bragagnolo and Enzo Tartaglione and Marco Grangetto},
journal= {arXiv preprint arXiv:2207.09455},
year = {2022}
}