基于对比自监督学习的概念表示学习
机器学习
2022-02-04 v2
摘要
面向概念的深度的学习(CODL)是一种应对深度学习未来挑战的通用方法:(1) 在极少或无外部监督下学习,(2) 处理与训练样本分布不同的测试样本,以及 (3) 将深度学习与符号 AI 相融合。在 CODL 中,如同人类学习,概念表示是基于概念样例学习的。对比自监督学习(CSSL)提供了一种有前景的实现途径,因为它:(1) 使用数据驱动的关联,摆脱语义标签;(2) 支持增量与持续学习,摆脱(大型)固定数据集;(3) 容纳涌现目标,摆脱固定目标(任务)。我们讨论使用 CSSL 进行概念表示学习的主要方面。这些包括双层次概念表示、用于特征表示的 CSSL、样例相似性度量与自监督关系推理、增量与持续 CSSL,以及对比自监督概念(类)增量学习。该讨论利用了来自认知神经科学与 CSSL 的近期发现。
引用
@article{arxiv.2112.05677,
title = {Concept Representation Learning with Contrastive Self-Supervised Learning},
author = {Daniel T. Chang},
journal= {arXiv preprint arXiv:2112.05677},
year = {2022}
}