通过生成与判别联合训练学习符号表示
机器学习
2023-04-25 v1 人工智能
摘要
我们提出了 GEDI，一个将现有自监督学习目标与基于似然的生成模型相结合的贝叶斯框架。该框架利用了生成（GEnerative）与判别（DIscriminative）两种方法的优势，从而相比独立方案获得了更优的符号表示。此外，GEDI 可轻松地与现有神经符号框架联合集成与训练，无需额外监督或昂贵的预训练步骤。我们通过包括 SVHN、CIFAR10 和 CIFAR100 在内的真实数据实验表明，GEDI 在聚类性能上以显著优势超越现有自监督学习策略。其符号组件进一步使其能够以逻辑约束的形式利用知识，在小数据场景下提升性能。
引用
@article{arxiv.2304.11357,
title = {Learning Symbolic Representations Through Joint GEnerative and DIscriminative Training},
author = {Emanuele Sansone and Robin Manhaeve},
journal= {arXiv preprint arXiv:2304.11357},
year = {2023}
}
备注
ICLR 2023 Workshop NeSy-GeMs. arXiv admin note: substantial text overlap with arXiv:2212.13425