利用持续同调改进自监督分子表示学习
机器学习
2023-11-30 v1
摘要
自监督学习（SSL）在分子表示学习中具有巨大潜力，原因在于分子图的复杂性、大量可用未标注数据、实验获取标签的可观成本，以及因此常常仅有小型训练数据集。该主题的重要性体现在近期所研究的多种范式与架构中。然而性能差异似乎往往微小，且迄今鲜被理解。本文中，我们研究基于持续同调（PH）的 SSL，PH 是一种对数据在多尺度上持久存在的拓扑特征进行建模的数学工具。它具有若干特别适合 SSL 的独特特征，自然提供：数据的不同视图、距离保持意义上的稳定性，以及灵活融入领域知识的机会。我们（1）研究了一个自编码器，展示 PH 的一般表示能力，并（2）提出一种补充现有方法的对比损失。我们严格评估了我们的方法在分子性质预测上的表现，并展示了其在改进嵌入空间中的特殊特征：SSL 后，表示更优，并在不同探测任务上比基线提供显著更多的预测能力；我们的损失提升基线性能，有时大幅提升；并且我们常在非常小的数据集上获得实质改进，这是实践中的常见场景。
引用
@article{arxiv.2311.17327,
title = {Improving Self-supervised Molecular Representation Learning using Persistent Homology},
author = {Yuankai Luo and Lei Shi and Veronika Thost},
journal= {arXiv preprint arXiv:2311.17327},
year = {2023}
}
备注
NeurIPS 2023