IMWA：迭代模型权重平均在类不平衡学习任务中的优势
计算机视觉与模式识别
2024-12-05 v2 人工智能
摘要
模型权重平均 (MWA) 是一种寻求通过平均多个训练模型的权重来增强模型性能的技术。本文首先经验性地发现：1）基本 MWA 可以获益于类不平衡学习，以及2）在训练的早期进行模型平均比在后期进行更能带来性能提升。基于这两个观察，本文提出一种名为迭代模型权重平均 (IMWA) 的新型 MWA 技术，用于类不平衡学习任务。具体而言，IMWA 将整个训练阶段划分为多个 episode。在每个 episode 中，多个模型从相同的初始化模型权重开始并行训练，然后平均为单个模型。随后，该平均模型的权重用作后续 episode 的新初始化，从而建立一种迭代学习范式。与基本 MWA 相比，IMWA 在相同计算成本下实现了更高的性能提升。此外，IMWA 还能进一步提升采用 EMA 策略的方法的性能，表明 IMWA 与 EMA 能够相互补充。在各种类不平衡学习任务上的广泛实验，包括类不平衡图像分类、半监督类不平衡图像分类和半监督目标检测任务，都展示了 IMWA 的有效性。
引用
@article{arxiv.2404.16331,
title = {IMWA: Iterative Model Weight Averaging Benefits Class-Imbalanced Learning Tasks},
author = {Zitong Huang and Ze Chen and Bowen Dong and Chaoqi Liang and Erjin Zhou and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2404.16331},
year = {2024}
}