面向不平衡数据集的自监督神经架构搜索
计算机视觉与模式识别
2021-09-21 v2 机器学习
图像与视频处理
摘要
神经架构搜索（NAS）在带有标注标签的精心整理数据集上训练时可提供最先进的结果。然而，标注数据甚至拥有平衡数量的样本对于来自不同科学领域（例如医学领域）的从业者而言可能是一种奢求。为此，我们提出一个基于 NAS 的框架，具有三重贡献：(a) 我们关注自监督场景，即无需标签即可确定架构；(b) 我们假设数据集是不平衡的；(c) 我们设计每个组件以能够在资源受限的设置上运行，即在单个 GPU（例如 Google Colab）上。我们的组件构建于自监督学习~\citep{zbontar2021barlow}、自监督 NAS~\citep{kaplan2020self} 的最新进展之上，并将其扩展到不平衡数据集的情况。我们在人为不平衡的 CIFAR-10 版本上进行了实验，表明我们提出的方法优于标准神经网络，同时使用的参数少 。为在天然不平衡数据集上验证我们的假设，我们还在 ChestMNIST 和 COVID-19 X-ray 上进行了实验。结果展示了所提方法如何用于不平衡数据集，同时可完全在单个 GPU 上运行。代码见 \href{https://github.com/TimofeevAlex/ssnas_imbalanced}{此处}。
引用
@article{arxiv.2109.08580,
title = {Self-Supervised Neural Architecture Search for Imbalanced Datasets},
author = {Aleksandr Timofeev and Grigorios G. Chrysos and Volkan Cevher},
journal= {arXiv preprint arXiv:2109.08580},
year = {2021}
}
备注
Published in ICML 2021 Workshop: Self-Supervised Learning for Reasoning and Perception. Code: https://github.com/TimofeevAlex/ssnas_imbalanced