数据受限下的分布鲁棒图像分类
计算机视觉与模式识别
2023-08-09 v1 机器学习
摘要
深度学习的实际部署要求模型在分布偏移下具有可预测的行为。诸如 CLIP 的模型展现出可与人类媲美的涌现式自然分布鲁棒性，但可能需要数亿训练样本。我们能否在数据有限的领域中训练出鲁棒的学习器？为严谨地回答该问题，我们引入 JANuS（联合标注与名称集），一个包含图像、标签及对应描述文本的四种新训练数据集集合，并对图像分类中影响鲁棒性的因素进行一系列严格控制的探究，随后将结果与大规模元分析所得发现进行比较。利用该方法，我们表明在标准 ResNet-50 上使用交叉熵损失在 240 万图像样本上训练，可获得与在 4 亿样本上训练的 CLIP ResNet-50 相当的鲁棒性。据我们所知，这是首个在有限数据预算下展示（接近）最先进（SOTA）分布鲁棒性的结果。我们的数据集见于 \url{https://huggingface.co/datasets/penfever/JANuS_dataset}，用于复现实验的代码见于 \url{https://github.com/penfever/vlhub/}。
引用
@article{arxiv.2308.03821,
title = {Distributionally Robust Classification on a Data Budget},
author = {Benjamin Feuer and Ameya Joshi and Minh Pham and Chinmay Hegde},
journal= {arXiv preprint arXiv:2308.03821},
year = {2023}
}
备注
TMLR 2023; openreview link: https://openreview.net/forum?id=D5Z2E8CNsD