自监督预训练有益于分子性质预测中的外推吗？
机器学习
2023-08-17 v1 定量方法
摘要
材料性质的预测在电池、半导体、催化剂和药物等多样应用中的材料开发与发现起着关键作用。近来，结合传统理论计算、利用机器学习技术采用数据驱动方法的研究兴趣日益增长。在材料科学中，对未观测值的预测（通常称为外推）对性质预测尤为关键，因为它使研究者能洞察超出可用数据限制的材料。然而，即便近期强大机器学习模型取得进展，精确外推仍被广泛认为是一个极具挑战的问题。另一方面，自监督预训练是一种机器学习技术，模型先在标注数据用于目标任务前，利用相对简单的代理任务在未标注数据上训练。由于自监督预训练可有效利用无观测性质值的材料数据，其有潜力提升模型的外推能力。本文阐明了此类自监督预训练如何增强外推性能。我们提出一个用于演示的实验框架，并经验性地揭示：尽管模型无法精确外推绝对性质值，自监督预训练使其能学习未观测性质值的相对趋势并改善外推性能。
引用
@article{arxiv.2308.08129,
title = {Is Self-Supervised Pretraining Good for Extrapolation in Molecular Property Prediction?},
author = {Shun Takashige and Masatoshi Hanai and Toyotaro Suzumura and Limin Wang and Kenjiro Taura},
journal= {arXiv preprint arXiv:2308.08129},
year = {2023}
}