基于损失下降感知课程学习的异质图神经网络
机器学习
2024-05-13 v1 人工智能
摘要
近年来，异质图神经网络（HGNNs）在处理异质信息网络（HINs）方面取得了优异的性能。课程学习是一种机器学习策略，它按照结构化顺序向模型呈现训练样本，从简单样本开始，逐渐增加难度，旨在提高学习效率和泛化能力。为了更好地利用 HINs 中的丰富信息，先前的方法已开始探索使用课程学习策略来训练 HGNNs。具体而言，这些工作利用每个训练周期的损失绝对值来评估每个训练样本的学习难度。然而，揭示学习难度的是相对损失，而非损失的绝对值。因此，我们提出了一种新颖的损失下降感知训练调度（LDTS）。LDTS 利用每个训练周期间损失下降的趋势来更好地评估训练样本的难度，从而增强 HGNNs 在下游任务中的课程学习。此外，我们提出了一种采样策略以缓解训练不平衡问题。我们的方法进一步证明了课程学习在增强 HGNNs 能力方面的有效性。我们将该方法命名为损失下降感知异质图神经网络（LDHGNN）。代码已公开于 https://github.com/wangyili00/LDHGNN。
引用
@article{arxiv.2405.06522,
title = {Heterogeneous Graph Neural Networks with Loss-decrease-aware Curriculum Learning},
author = {Yili Wang},
journal= {arXiv preprint arXiv:2405.06522},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2402.18875 by other authors