重新思考分子掩码图建模中的分词器与解码器
机器学习
2024-01-17 v2
摘要
掩码图建模在分子图的自监督表示学习中表现出色。审视以往研究，我们可以揭示一个由三个关键组件构成的通用方案：（1）图分词器，将分子图拆分为更小的片段（即子图）并转换为词元；（2）图掩码，用掩码破坏图结构；（3）图自编码器，先在掩码图上应用编码器生成表示，再在表示上采用解码器恢复原始图的词元。然而，以往的MGM研究主要关注图掩码与编码器，对分词器和解码器的理解有限。为弥补这一差距，我们首先总结了节点、边、基序和图神经网络（GNNs）粒度上常用的分子分词器，进而考察它们作为MGM重建目标的作用。此外，我们探索了在MGM中采用具表达力的解码器的潜力。结果表明，子图级分词器与具备重掩码解码的充足表达力解码器对编码器的表示学习有重大影响。最后，我们提出了一种新颖的MGM方法SimSGT，其特点为基于简单GNN的分词器（SGT）与高效解码策略。我们通过实验验证该方法优于现有的分子自监督学习方法。我们的代码与检查点见 https://github.com/syr-cn/SimSGT。
引用
@article{arxiv.2310.14753,
title = {Rethinking Tokenizer and Decoder in Masked Graph Modeling for Molecules},
author = {Zhiyuan Liu and Yaorui Shi and An Zhang and Enzhi Zhang and Kenji Kawaguchi and Xiang Wang and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2310.14753},
year = {2024}
}
备注
NeurIPS 2023. 10 pages