通过损失函数优化提升训练速度、精度与数据利用率
机器学习
2020-04-28 v3 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
随着神经网络模型复杂度的增长，通过元学习自动优化其设计变得愈发重要。用于发现超参数、拓扑结构和学习率调度的方法已带来显著的性能提升。本文表明损失函数同样可以通过元学习进行优化，并取得类似的改进。该方法称为遗传损失函数优化（Genetic Loss-function Optimization, GLO），可从头发现损失函数并针对目标任务进行优化。借助遗传编程技术，GLO 从一组算子和叶节点出发分层构建损失函数。这些函数被反复重组和变异以寻找最优结构，随后使用协方差矩阵适应进化策略（CMA-ES）来寻找最优系数。研究发现，使用 GLO 损失函数训练的网络在标准图像分类任务上优于标准交叉熵损失。使用这些新损失函数进行训练所需的步数更少、测试误差更低，且可使用更小的数据集。因此，损失函数优化提供了元学习的新维度，并构成了迈向 AutoML 的重要一步。
引用
@article{arxiv.1905.11528,
title = {Improved Training Speed, Accuracy, and Data Utilization Through Loss Function Optimization},
author = {Santiago Gonzalez and Risto Miikkulainen},
journal= {arXiv preprint arXiv:1905.11528},
year = {2020}
}