知识生成——知识图上的变分贝叶斯

本论文证明了变分自编码器(VAE)在真实世界知识图(KG)表示学习中的潜力这一概念验证。受分子图生成成功方法的启发，我们评估了我们的模型——关系图变分自编码器(RGVAE)的能力。比较了模块化超参数选择、通过图卷积编码、图匹配和潜空间先验的影响。RGVAE首先在链接预测上评估。两个数据集FB15K-237和WN18RR上的平均倒数排名(MRR)分数与基于嵌入的模型DistMult进行比较。实现了变分DistMult和無潜空间先验约束的RGVAE作为对照模型。结果表明，在不同设置中，具有松弛潜空间的RGVAE在两个数据集上得分最高，但仍未超越DistMult。进一步，我们以双重实验考察潜空间：首先，两个三元组潜表示之间的线性插值，然后在$95\%$置信区间内探索每个潜维度。两种插值均显示RGVAE学会重建邻接矩阵但未能解纠缠。在最后实验中，我们为FB15K-237数据集引入新的验证方法。生成三元组的关系类型约束被过滤并与实体类型匹配。观测到的有效生成三元组比率仅略高于随机阈值。所有生成且有效的三元组均为未见过的。使用$\delta$-VAE方法比较不同潜空间先验，揭示了解码器崩溃。最后，我们分析了相较于分子生成的本方法的限制因素，并针对解码器崩溃和多关系KG的成功表示学习提出了解决方案。