使用正交梯度下降进行调试
机器学习
2022-06-20 v1 人工智能
摘要
在本报告中，我们考虑如下问题：给定一个部分故障的已训练模型，我们能否在不从头训练模型的情况下纠正其行为？换言之，我们能否像处理数学模型和标准计算机代码中的错误那样“调试”神经网络。我们的方法基于如下假设：调试可被视为一个双任务持续学习问题。特别地，我们采用一种称为正交梯度下降(OGD)的持续学习算法的改进版本，并通过在 MNIST 数据集上的两个简单实验证明，我们事实上可以遗忘不良行为同时保留模型的通用性能，并且我们还可以重新学习恰当行为，两者均无需从头训练模型。
引用
@article{arxiv.2206.08489,
title = {Debugging using Orthogonal Gradient Descent},
author = {Narsimha Chilkuri and Chris Eliasmith},
journal= {arXiv preprint arXiv:2206.08489},
year = {2022}
}