AutoLoss-Zero：从零搜索面向通用任务的损失函数
计算机视觉与模式识别
2021-03-26 v1
摘要
在自动化设计深度网络各组件方面已取得显著进展。然而，针对具有不同评估指标的通用任务自动设计损失函数仍研究不足。先前手工设计损失函数的工作严重依赖人类专业知识，限制了其可扩展性。同时，现有搜索损失函数的努力主要聚焦于特定任务和特定指标，带有任务相关的启发式方法。此类工作能否推广到通用任务尚未验证且存疑。本文中，我们提出 AutoLoss-Zero，首个从零搜索通用任务损失函数的通用框架。具体而言，我们设计了一个仅由基本数学算符组成的初等搜索空间，以容纳异构任务与评估指标。采用一种进化算法的变体在初等搜索空间中发掘损失函数。为提升搜索效率，我们开发了损失拒绝协议与梯度等价检查策略，其适用于通用任务。在各种计算机视觉任务上的大量实验表明，我们搜索出的损失函数与现有损失函数相当或更优，且能很好地泛化到不同数据集与网络。代码将开源。
引用
@article{arxiv.2103.14026,
title = {AutoLoss-Zero: Searching Loss Functions from Scratch for Generic Tasks},
author = {Hao Li and Tianwen Fu and Jifeng Dai and Hongsheng Li and Gao Huang and Xizhou Zhu},
journal= {arXiv preprint arXiv:2103.14026},
year = {2021}
}