Grad-Instructor：用于元学习和AutoML的具有可解释评估神经网络的反向传播通用方法
机器学习
2024-06-18 v1
摘要
本文提出了一种自主增强深度神经网络训练的新方法。我的方法采用通过深度强化学习训练的评估神经网络（ENN）来预测目标网络的性能。然后，ENN在反向传播过程中作为额外的评估函数。使用多层感知器（MLP）进行的计算实验证明了该方法的有效性。通过以原始分辨率0.15^2倍处理输入数据，ENN实现了高效推理。结果表明，使用所提出方法训练的MLP的平均测试准确率达到93.02%，比仅使用传统反向传播或L1正则化训练的MLP高2.8%。所提出方法的测试准确率与使用He初始化初始化的网络相当，同时减少了测试误差与训练误差之间的差异。这些改进是在不增加训练轮次的情况下实现的，从而避免了过拟合的风险。此外，所提出的方法根据训练阶段动态调整梯度幅度。可以预测用于增强MLP的最佳ENN，从而减少探索最优训练方法所花费的时间。还使用Grad-CAM分析了ENN的可解释性，证明了其可视化评估基础的能力，并支持了强彩票假设。
引用
@article{arxiv.2406.10559,
title = {Grad-Instructor: Universal Backpropagation with Explainable Evaluation Neural Networks for Meta-learning and AutoML},
author = {Ryohei Ino},
journal= {arXiv preprint arXiv:2406.10559},
year = {2024}
}
备注
15 pages, 3 figures