用于正则化神经链接预测器的对抗集
人工智能
2017-07-25 v1
摘要
在对抗训练中，一组模型通过追求通常定义在单个数据实例上的竞争目标来共同学习。然而，在关系学习及其他非独立同分布领域中，目标也可以定义在实例集合上。例如，is-a 关系的链接预测器需要与传递性保持一致：若 is-a(x_1, x_2) 和 is-a(x_2, x_3) 成立，则 is-a(x_1, x_3) 亦须成立。在此，我们利用此类假设推导出一个不一致性损失，用以衡量模型在对抗生成的示例集合上违反假设的程度。训练目标被定义为一个极小极大问题，其中对抗者通过最大化不一致性损失来寻找最严重的对抗样本，而模型则通过联合最小化监督损失和对抗样本上的不一致性损失来进行训练。这产生了首个能够使用无函数 Horn 子句（如 Datalog 中）来正则化任意神经链接预测器的方法，且其复杂度与域规模无关。我们表明，对于若干链接预测模型，对抗者面临的优化问题具有高效的闭式解。在链接预测基准上的实验表明，给定合适的先验知识，我们的方法能在所有相关指标上显著改进神经链接预测器。
引用
@article{arxiv.1707.07596,
title = {Adversarial Sets for Regularising Neural Link Predictors},
author = {Pasquale Minervini and Thomas Demeester and Tim Rocktäschel and Sebastian Riedel},
journal= {arXiv preprint arXiv:1707.07596},
year = {2017}
}
备注
Proceedings of the 33rd Conference on Uncertainty in Artificial Intelligence (UAI), 2017