从小处着手，大处思考：大规模知识图谱嵌入的超参数优化
机器学习
2022-07-12 v1 人工智能
摘要
知识图谱嵌入（KGE）模型是一种表示和多关系数据推理的有效且流行的方法。然而，先前的研究表明，KGE模型对超参数设置敏感，且合适的选择依赖于数据集。在本文中，我们探索了针对非常大规模知识图谱的超参数优化（HPO），其中评估单个超参数配置的成本过高。先前的研究常通过使用各种启发式方法避免该成本，例如在子图上训练或使用更少的训练轮数。我们系统地讨论并评估了此类启发式方法及其他低成本近似技术的质量与成本节省。基于我们的发现，我们提出了GraSH，一种用于大规模KGE的高效多保真度HPO算法，它结合了图缩减与轮次缩减技术，并在多个保真度递增的轮次中运行。我们进行了实验研究，发现GraSH以低成本（总计三次完整训练运行）在大规模图上取得了最先进的结果。
引用
@article{arxiv.2207.04979,
title = {Start Small, Think Big: On Hyperparameter Optimization for Large-Scale Knowledge Graph Embeddings},
author = {Adrian Kochsiek and Fritz Niesel and Rainer Gemulla},
journal= {arXiv preprint arXiv:2207.04979},
year = {2022}
}