面向长尾数据的公平可微神经网络架构搜索
机器学习
2024-06-26 v1
摘要
近年来, 人工智能(AI)的快速发展使深度学习(DL)成为计算机视觉、数据挖掘和自然语言处理等领域的关键技术。DL性能的一个关键因素是神经网络架构的选择。传统的预定义架构往往难以适应不同的数据分布, 难以实现最佳性能。神经网络架构搜索(NAS)通过自动设计针对特定数据集的架构来提供解决方案。然而, 在长尾数据集上, NAS的有效性会下降, 因为该数据集中少数类别样本丰富, 而许多类别样本稀少, 导致模型偏差。本文探索了提高NAS在长尾数据集上搜索和训练性能的方法。具体而言, 我们首先讨论了NAS及其在长尾数据集上的深度学习方法相关的工作。然后, 我们聚焦于一种现有方法, 即将自监督学习与公平可微NAS集成, 以实现NAS在长尾数据集上获得更好性能。本文提供了关于SSF-NAS基本技术的详细描述, 包括DARTS、FairDARTS和Barlow Twins。最后, 我们在CIFAR10-LT数据集上进行一系列实验进行性能评估, 实验结果符合我们的预期。
引用
@article{arxiv.2406.16949,
title = {Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning},
author = {Jiaming Yan},
journal= {arXiv preprint arXiv:2406.16949},
year = {2024}
}