图神经网络中层间知识混合用于化学性质预测
机器学习
2025-10-24 v1
摘要
图神经网络（GNN）是目前预测分子性质最有效的方法，但仍需要更准确的模型。提高GNN精度可以通过增加模型复杂度来实现，但这也会增加训练和推理过程中的计算成本和内存需求。在本研究中，我们开发了层间知识混合（LKM），一种新颖的自知识蒸馏方法，它在增加可忽略的训练和推理计算复杂度的同时，提高了最先进GNN的精度。通过最小化GNN层间预先存在的隐藏嵌入的平均绝对距离，LKM有效地聚合了多跳和多尺度信息，从而改进了局部和全局分子特征的表示。我们使用三种不同的GNN架构（DimeNet++、MXMNet和PAMNet）以及量子化学性质数据集（QM9、MD17和Chignolin）评估了LKM。我们发现LKM方法有效地将量子化学和生物物理性质预测的平均绝对误差分别降低了高达9.8%（QM9）、45.3%（MD17能量）和22.9%（Chignolin）。这项工作展示了LKM在无需显著增加训练和推理成本的情况下，显著提高用于化学性质预测的GNN精度的潜力。
引用
@article{arxiv.2510.20236,
title = {Layer-to-Layer Knowledge Mixing in Graph Neural Network for Chemical Property Prediction},
author = {Teng Jiek See and Daokun Zhang and Mario Boley and David K. Chalmers},
journal= {arXiv preprint arXiv:2510.20236},
year = {2025}
}