面向分子性质预测的跨模态蒸馏协同方法
机器学习
2022-12-01 v1 定量方法
摘要
近年来，分子图表示学习（GRL）在分子性质预测（MPP）问题中引起了更多关注。现有的图方法表明，三维几何信息对于在 MPP 中获得更好的性能具有重要意义。然而，获取准确的三维结构通常成本高昂且耗时，限制了 GRL 的大规模应用。采用三维到二维知识蒸馏进行训练，并仅使用二维输入进行预测，是一种直观的解决方案。但三维到二维蒸馏仍存在一些具有挑战性的开放问题。其一是三维视图与二维视图截然不同；其二是由于分子大小可变，蒸馏中原子的梯度幅度存在差异且不稳定。为了解决这些挑战性问题，我们专门提出了一种包含全局分子蒸馏和局部原子蒸馏的蒸馏框架。我们还提供了理论见解以证明如何协同原子和分子信息，这克服了原子信息蒸馏中分子大小可变的缺陷。在两个流行的分子数据集上的实验结果表明，我们提出的模型取得了优于其他方法的性能。具体而言，在作为图机器学习领域“ImageNet 大规模视觉识别挑战赛”的最大 MPP 数据集 PCQM4Mv2 上，该方法与最佳工作相比取得了 6.9% 的提升。并且在 OGB-LSC 2022 图回归任务的测试挑战集上，我们以 0.0734 的 MAE 获得了第四名。我们将很快发布代码。
引用
@article{arxiv.2211.16712,
title = {Coordinating Cross-modal Distillation for Molecular Property Prediction},
author = {Hao Zhang and Nan Zhang and Ruixin Zhang and Lei Shen and Yingyi Zhang and Meng Liu},
journal= {arXiv preprint arXiv:2211.16712},
year = {2022}
}