通过元学习习得符号化模型无关损失函数
机器学习
2024-07-02 v3 神经与进化计算
摘要
本文在损失函数学习这一新兴课题上展开研究，该课题旨在学习能显著提升在其下训练模型性能的损失函数。具体而言，我们提出一种新的元学习框架，通过混合神经-符号搜索方法学习模型无关的损失函数。该框架首先使用基于进化的方法在基本数学运算空间中搜索，找到一组符号化损失函数。其次，将习得的损失函数集合参数化，并通过端到端的基于梯度的训练过程进行优化。所提框架的通用性在多种不同的监督学习任务上得到实证验证。结果表明，新提出的方法发现的元学习损失函数在多种神经网络架构和数据集上均优于交叉熵损失以及最先进的损失函数学习方法。
引用
@article{arxiv.2209.08907,
title = {Learning Symbolic Model-Agnostic Loss Functions via Meta-Learning},
author = {Christian Raymond and Qi Chen and Bing Xue and Mengjie Zhang},
journal= {arXiv preprint arXiv:2209.08907},
year = {2024}
}