对比学习与抽象概念：以自然数为例

对比学习（Contrastive Learning, CL）已成功应用于与ImageNet数据集中具体对象有关的分类及其他下游任务。迄今尚无研究尝试将这一前景广阔的方案应用于更抽象的实体。其中，离散数量（discrete Quantity）概念便是一个突出的例子。CL可频繁解释为一种由某些深刻且普遍的守恒原理（例如对象分类任务中的身份守恒）指导的自监督方案。本文通过应用适当的守恒原理于半抽象的自然数概念，从而实现对离散数量的估计或预测。我们通过一个 toy problem 实验表明，对比学习可在高人类水平及超人类范围内以高精度进行“一眼数数”。我们将其与类似架构的监督学习（SL）神经网络计数方案进行比较。结果显示，两者在基线实验中表现良好，训练与测试阶段的分布相等。重要的是，我们证明在某些泛化场景下（训练与测试分布不同），对比学习展现出更稳健且错误性能更好的表现。