通过协作专家混合增强分子性质预测
机器学习
2023-12-07 v1 多智能体系统
定量方法
摘要
分子性质预测（MPP）任务涉及基于分子特征（例如分子图结构）预测生化性质，有助于在药物开发中发现先导化合物。为解决 MPP 中的数据稀缺和不平衡问题，一些研究采用图神经网络（GNN）作为编码器，从分子图中提取共性。然而，这些方法通常为每个任务使用单独的预测器，忽略了对应不同任务的预测器之间的共享特征。针对这一局限，我们引入了 GNN-MoCE 架构。它采用协作专家混合（MoCE）作为预测器，在利用任务共性的同时，应对专家池中的同质化问题以及专家组内的决策主导困境。为增强所有专家协作的多样性，提出了专家特定投影方法，为每个专家分配独特的投影视角。为平衡专家组内协作的决策影响力，提出了专家特定损失，将个体专家损失整合到组的加权决策损失中，以实现更公平的训练。得益于 MoCE 在专家创建、动态专家组形成和专家协作方面的增强，我们的模型在 24 个 MPP 数据集上展现出优于传统方法的性能，尤其是在数据有限或高度不平衡的任务中。
引用
@article{arxiv.2312.03292,
title = {Enhancing Molecular Property Prediction via Mixture of Collaborative Experts},
author = {Xu Yao and Shuang Liang and Songqiao Han and Hailiang Huang},
journal= {arXiv preprint arXiv:2312.03292},
year = {2023}
}
备注
11 pages, 8 figures