监督学习中最小化余项的学习方法
计算机视觉与模式识别
2022-03-08 v2 机器学习
摘要
深度学习方法的学习过程通常在多次迭代中更新模型参数。每次迭代可视为泰勒级数展开的一阶近似。由高阶项组成的余项通常为简便而在学习过程中被忽略。该学习方案赋能了各种基于多媒体的应用，如图像检索、推荐系统和视频搜索。一般而言，多媒体数据（如图像）语义丰富且高维，因此近似的余项可能非零。本工作中，我们认为余项具有信息性，并研究其如何影响学习过程。为此，我们提出一种称为梯度调整学习（GAL）的新学习方法，利用从过去训练迭代中学到的知识调整原始梯度，从而最小化余项并改善近似。所提GAL与模型及优化器无关，且易于适配标准学习框架。它在图像分类、目标检测和回归三个任务上以SOTA模型和优化器进行了评估。实验表明所提GAL持续增强被评估模型，而消融研究验证了所提GAL的各个方面。代码见\url{https://github.com/luoyan407/gradient_adjustment.git}。
引用
@article{arxiv.2201.09193,
title = {Learning to Minimize the Remainder in Supervised Learning},
author = {Yan Luo and Yongkang Wong and Mohan S. Kankanhalli and Qi Zhao},
journal= {arXiv preprint arXiv:2201.09193},
year = {2022}
}
备注
Accepted to IEEE TMM