利用 SPARK 点燃预测:面向时序知识图谱预测中 LLM 精炼的高效生成框架
机器学习
2025-04-01 v1 人工智能
新兴技术
摘要
时序知识图谱(TKG)预测对于利用历史数据预测未来事件至关重要。随着大型语言模型(LLM)的兴起,近期研究开始探索其与 TKG 预测的结合并取得了一定成功。然而,这些方法仍面临输入长度受限、输出生成效率低下以及精炼过程资源密集等局限,削弱了其性能与实际可用性。为应对这些局限,我们提出 SPARK,一种面向 TKG 预测中 LLM 精炼的序列级代理适配框架。受生成控制中推理时算法的启发,SPARK 通过两项关键创新提供一种经济、即插即用的解决方案:(1)束搜索序列级生成,将 TKG 预测重构为 top-K 序列级生成任务,利用束搜索在单次前向传播中高效生成下一实体分布。(2)用于精炼的 TKG 适配器,采用传统 TKG 模型作为可训练代理适配器,以利用全局图信息并精炼 LLM 输出,从而同时克服输入长度限制与资源密集型微调难题。在多个数据集上的实验验证了 SPARK 的预测性能、稳健的泛化能力与高效率。我们在 https://github.com/yin-gz/SPARK 发布源代码。
引用
@article{arxiv.2503.22747,
title = {LeForecast: Enterprise Hybrid Forecast by Time Series Intelligence},
author = {Zheng Tan and Yiwen Nie and Wenfa Wu and Guanyu Zhang and Yanze Liu and Xinyuan Tian and Kailin Gao and Mengya Liu and Qijiang Cheng and Haipeng Jiang and Yingzheng Ma and Wei Zheng and Yuci Zhu and Yuanyuan Sun and Xiangyu Lei and Xiyu Guan and Wanqing Huang and Shouming Liu and Xiangquan Meng and Pengzhan Qu and Chao Yang and Jiaxuan Fan and Yuan He and Hongsheng Qi and Yangzhou Du},
journal= {arXiv preprint arXiv:2503.22747},
year = {2025}
}