中文

iLoRE:具备即时长期建模与重复出现保持的动态图表示

机器学习 2023-09-06 v1 人工智能 社会与信息网络

摘要

连续时间动态图建模是许多现实应用(如金融风险管理与欺诈检测)中的关键任务。尽管现有动态图建模方法已取得令人满意的结果,它们仍存在三个关键局限,制约了其可扩展性与进一步适用性。i) 无差别更新。对于新到达的边,现有方法会无差别地处理,这可能导致更多时间消耗与意外的噪声信息。ii) 无效的节点级长期建模。它们严重依赖循环神经网络(RNNs)作为主干,而已被证明无法充分捕捉事件序列中的节点级长期依赖。iii) 忽视重复出现模式。动态图中包含邻居的重复出现,这指示了其重要性,却令人遗憾地被现有方法忽视。本文提出 iLoRE,一种具有即时节点级长期建模与重复出现保持的新型动态图建模方法。为克服无差别更新问题,我们引入自适应短期更新器模块,可自动丢弃无用或噪声边,确保 iLoRE 的有效性与即时能力。我们进一步提出长期更新器以实现更有效的节点级长期建模,其中创新性地提出恒等注意力机制以增强基于 Transformer 的更新器,规避了典型 RNN 主导设计的有限有效性。最后,关键的重复出现模式也被编码进图模块以进行信息丰富的表示学习,这将进一步提升我们方法的表现力。我们在真实数据集上的实验结果证明了 iLoRE 在动态图建模上的有效性。

关键词

引用

@article{arxiv.2309.02012,
  title  = {iLoRE: Dynamic Graph Representation with Instant Long-term Modeling and Re-occurrence Preservation},
  author = {Siwei Zhang and Yun Xiong and Yao Zhang and Xixi Wu and Yiheng Sun and Jiawei Zhang},
  journal= {arXiv preprint arXiv:2309.02012},
  year   = {2023}
}