理解马尔可夫逻辑网络中的域大小泛化
人工智能
2024-06-04 v3 机器学习
摘要
我们研究马尔可夫逻辑网络（MLNs）在不同大小关系结构上的泛化行为。多项工作注意到，在给定域上学习的MLN在不同大小的域上泛化能力较差。这种行为源于MLN在不同域大小下使用时缺乏内部一致性。在本文中，我们量化了这种不一致性，并用MLN参数的方差来界定它。参数方差还界定了MLN在不同域大小下的边际分布之间的KL散度。我们利用这些界限证明，最大化数据对数似然同时最小化参数方差对应于域大小泛化的两个自然概念。我们的理论结果适用于指数随机图和其他基于马尔可夫网络的关系模型。最后，我们观察到已知能降低MLN参数方差的方法（如正则化和域大小感知MLN）能提高MLN的内部一致性。我们在四个不同数据集上通过不同控制参数方差的方法实证验证了我们的结果，表明控制参数方差能带来更好的泛化。
引用
@article{arxiv.2403.15933,
title = {Understanding Domain-Size Generalization in Markov Logic Networks},
author = {Florian Chen and Felix Weitkämper and Sagar Malhotra},
journal= {arXiv preprint arXiv:2403.15933},
year = {2024}
}
备注
To Appear in Proceedings of ECML 2024-Research Track