从后向误差分析视角看多任务与持续学习中的隐式偏差
机器学习
2023-11-02 v1 人工智能
机器学习
摘要
利用后向误差分析，我们计算了使用随机梯度下降训练的神经网络在多任务与持续学习设定下的隐式训练偏差。具体而言，我们推导了训练过程中被隐式最小化的修正损失。它们包含三项：原始损失（对应收敛性）、与学习率成正比的隐式平坦性正则化项，以及最后一项——冲突项，该冲突项在理论上可能对收敛与隐式正则化均有害。在多任务中，冲突项是衡量任务间梯度对齐的已知量；而在持续学习中，冲突项是深度学习优化中的一个新量，尽管它是微分几何中的基本工具：任务梯度之间的李括号。
引用
@article{arxiv.2311.00235,
title = {Implicit biases in multitask and continual learning from a backward error analysis perspective},
author = {Benoit Dherin},
journal= {arXiv preprint arXiv:2311.00235},
year = {2023}
}
备注
Accepted in Mathematics of Modern Machine Learning Workshop at NeurIPS 2023