通过收敛性仿真驱动搜索实现目标检测损失函数发现
计算机视觉与模式识别
2021-02-10 v1 人工智能
神经与进化计算
摘要
为视觉任务设计恰当的损失函数一直是提升现有模型能力的长期研究方向。对于目标检测，成熟的分类与回归损失函数是通过考量多样的学习挑战精心设计的。受近期网络架构搜索进展的启发，探索通过直接搜索基元操作组合来发现新损失函数形式的可能性颇具意义。如此，所学损失不仅适配多样的目标检测挑战以缓解巨大的人力投入，还能更好地与评估指标对齐并具备良好的数学收敛性质。除先前在人脸识别与图像分类上的自动损失工作外，我们的工作首次尝试从基元操作层面为具挑战性的目标检测发现新损失函数。我们提出一种高效的收敛性仿真驱动进化搜索算法，称为CSE-Autoloss，通过收敛性验证与模型优化仿真来正则化损失候选的数学合理性，从而加速搜索进程。CSE-Autoloss涉及覆盖现有损失广泛可能变体的搜索空间，并在短时间内（约1.5个墙上时钟日）发现最佳搜索损失函数组合。我们在流行检测器上进行了广泛的损失函数搜索评估，并验证了搜索所得损失跨多样架构与数据集的良好泛化能力。实验表明，在COCO上，对于两阶段和单阶段检测器，最佳发现的损失函数组合分别比默认组合在mAP上高出1.1%和0.8%。我们的搜索损失可在 https://github.com/PerdonLiu/CSE-Autoloss 获取。
引用
@article{arxiv.2102.04700,
title = {Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search},
author = {Peidong Liu and Gengwei Zhang and Bochao Wang and Hang Xu and Xiaodan Liang and Yong Jiang and Zhenguo Li},
journal= {arXiv preprint arXiv:2102.04700},
year = {2021}
}
备注
Accepted by ICLR2021 Poster