针对长尾数据集的异构学习率调度神经网络架构搜索
机器学习
2024-06-12 v1 人工智能
摘要
本文旨在解决将神经网络架构搜索(NAS)算法，特别是可微分架构搜索(DARTS)，应用于类别分布高度不平衡的长尾数据集的挑战。我们观察到，传统的重抽取和重新加权技术在标准分类任务中有效，但与 DARTS 结合时会导致性能下降。为缓解这一问题，我们提出了一种针对 DARTS 架构参数的自适应学习率调度策略，专为与处理不平衡数据集的双分支网络(BBN)集成而设计。该方法根据训练轮次动态调整架构参数的学习率，防止在训练后期干扰已训练良好的表示。此外，我们还探讨了分支混合因子对算法性能的影响。通过在人工诱导长尾分布的 CIFAR-10 数据集上的大量实验，我们展示我们的 метод在准确率上与仅使用 DARTS 相当。实验结果表明，重抽取方法本质上会损害 DARTS 算法的性能。我们的发现凸显了在不平衡学习场景中应用 DNAS 时谨慎数据增广的重要性。
引用
@article{arxiv.2406.07028,
title = {Heterogeneous Learning Rate Scheduling for Neural Architecture Search on Long-Tailed Datasets},
author = {Chenxia Tang},
journal= {arXiv preprint arXiv:2406.07028},
year = {2024}
}