分子回归的分布学习
机器学习
2024-07-31 v1 定量方法
摘要
使用"软"目标可显著提升分类任务中的模型性能，但在机器学习中应用于回归的软目标用法仍鲜有研究。现有文献对软目标回归方法的局限性评估不充分，实证评估也有限。本文评估了现有方法在分子属性回归任务中的优势与局限。我们的评估概述了现有方法中存在的关键偏差，并提出了解决这些偏差的方法，通过仔细的消融研究进行评估。我们利用这些见解提出分布混合专家（DMoE）：一种独立于模型且独立于数据的方法，用于回归任务，该方法训练模型预测其目标的概率分布。我们的新损失函数将预测分布与目标分布之间的交叉熵与其期望值之间的 L1 距离相结合，以产生对所述偏差鲁棒的损失函数。我们在不同的分子属性预测数据集上评估了DMoE的性能——Open Catalyst（OC20）、MD17 和 QM9——并在不同的骨干模型架构——SchNet、GemNet 和 Graphormer——上进行测试。我们的结果表明，所提出的方法是分子属性预测任务的有前景的传统回归方法的替代方案，在所有数据集和架构上均显示出于基线模型的改进。
引用
@article{arxiv.2407.20475,
title = {Distribution Learning for Molecular Regression},
author = {Nima Shoghi and Pooya Shoghi and Anuroop Sriram and Abhishek Das},
journal= {arXiv preprint arXiv:2407.20475},
year = {2024}
}