论监督信号的信息量

监督学习通常聚焦于从人类标注的训练样本中学习可迁移的表示。虽然丰富标注（如软标签）比稀疏标注（如硬标签）携带更多信息，但其收集成本也更高。例如，硬标签仅提供对象所属最近类别的信息（如“这是一只狗”），而软标签提供对象与多个类别关系的信息（如“这最可能是一只狗，但也可能是狼或土狼”）。我们使用信息论来比较若干常用监督信号对表示学习性能的贡献，以及它们的容量如何受标签数、类别数、维数与噪声等因素影响。我们的框架为在大数据体制下使用硬标签、而在少样本学习与分布外泛化中使用更丰富监督信号提供了理论依据。我们在一系列包含超 100 万众包图像标注的实验中对这些结果进行了实证验证，并开展了成本-收益分析以建立权衡曲线，使用户能优化其自身数据集上监督表示学习的成本。