验证学习：使无监督神经符号系统可行
人工智能
2025-06-18 v2
摘要
当前神经符号（NeSy）学习范式过度依赖标签数据，因此如果完全忽略标签，会导致符号信息减少、解空间扩大以及更难解决的捷径问题，而当前 NeSy 系统无法解决这些问题。本文引入一种新颖的学习范式——验证学习（Verification Learning, VL），以解决这一挑战，通过将 NeSy 中的基于标签的推理过程转化为无标签的验证过程。VL 仅依靠无标签数据和验证当前预测是否符合规则的函数，即可获得出色的学习结果。我们将此问题形式化为约束优化问题（COP），并提出一种动态组合排序（Dynamic Combinatorial Sorting, DCS）算法，通过减少验证尝试次数来加速解决方案，有效降低计算成本，并引入一种先验对齐方法以解决潜在的捷径问题。我们的理论分析指出，哪些任务在 NeSy 系统中可以在无标签的情况下完成，并解释了为什么规则可以替代某些任务的无限标签，而对于其他任务则没有效果。我们通过几个完全无监督的任务进行了验证，包括加法、排序、匹配和象棋，每个任务都显示出显著的性能和效率改进。
引用
@article{arxiv.2503.12917,
title = {Verification Learning: Make Unsupervised Neuro-Symbolic System Feasible},
author = {Lin-Han Jia and Wen-Chao Hu and Jie-Jing Shao and Lan-Zhe Guo and Yu-Feng Li},
journal= {arXiv preprint arXiv:2503.12917},
year = {2025}
}