以多样化监督释放小数据的全部潜力

几乎所有深度学习文献都依赖于有大量可用训练数据的假设。事实上，即使大多数少样本学习方法也依赖于大量“基类”进行预训练。然而，这一假设并非总成立。对于某些任务，标注大量类别可能不可行，甚至在某些场景下收集图像本身也是挑战。在本文中，我们研究此问题并称之为“小数据”设定，以区别于“大数据”。为释放小数据的全部潜力，我们提议用其他相关任务的标注来增强模型，从而提升其泛化能力。特别地，我们使用丰富标注的场景解析数据集ADE20K，依据类别分布将对象类别划分为头部和尾部，构建了我们现实的具有多样化监督的长尾识别(LRDS)基准。遵循标准少样本学习协议，我们使用头部类别进行表示学习，尾部类别进行评价。此外，我们进一步对头部类别和图像进行子采样，生成两种新设定，分别称为“稀缺类别”和“稀缺图像”，各自对应稀有类别和训练图像的样本短缺。最后，我们分析了在所提设定下应用各种额外监督源的效果。我们的实验表明，对一小批图像进行密集标注确实可在很大程度上弥补小数据限制。