利用 SPARK 点燃预测:面向时序知识图谱预测中 LLM 精炼的高效生成框架
机器学习
2025-04-01 v1 人工智能
摘要
时序知识图谱(TKG)预测对于利用历史数据预测未来事件至关重要。随着大型语言模型(LLM)的兴起,近期研究开始探索其与 TKG 预测的结合并取得了一定成功。然而,这些方法仍面临输入长度受限、输出生成效率低下以及精炼过程资源密集等局限,削弱了其性能与实际可用性。为应对这些局限,我们提出 SPARK,一种面向 TKG 预测中 LLM 精炼的序列级代理适配框架。受生成控制中推理时算法的启发,SPARK 通过两项关键创新提供一种经济、即插即用的解决方案:(1)束搜索序列级生成,将 TKG 预测重构为 top-K 序列级生成任务,利用束搜索在单次前向传播中高效生成下一实体分布。(2)用于精炼的 TKG 适配器,采用传统 TKG 模型作为可训练代理适配器,以利用全局图信息并精炼 LLM 输出,从而同时克服输入长度限制与资源密集型微调难题。在多个数据集上的实验验证了 SPARK 的预测性能、稳健的泛化能力与高效率。我们在 https://github.com/yin-gz/SPARK 发布源代码。
引用
@article{arxiv.2503.22748,
title = {Ignite Forecasting with SPARK: An Efficient Generative Framework for Refining LLMs in Temporal Knowledge Graph Forecasting},
author = {Gongzhu Yin and Hongli Zhang and Yi Luo and Yuchen Yang and Kun Lu and Chao Meng},
journal= {arXiv preprint arXiv:2503.22748},
year = {2025}
}
备注
To be published in the 30th International Conference on Database Systems for Advanced Applications (DASFAA 2025)