一个Transformer可同时理解2D与3D分子数据

与通常具有唯一格式的视觉和语言数据不同，分子天然可使用不同的化学表述来表征。人们可将分子视为2D图，或将其定义为位于3D空间中的原子集合。对于分子表示学习，以往多数工作仅针对特定数据格式设计神经网络，使得所学模型很可能无法适用于其他数据格式。我们认为，化学领域的通用神经网络模型应能够处理跨数据模态的分子任务。为实现这一目标，本工作中我们开发了名为Transformer-M的新型基于Transformer的分子模型，其可将2D或3D格式的分子数据作为输入并生成有意义的语义表示。Transformer-M以标准Transformer作为骨干架构，开发了两条分离通道来编码2D和3D结构信息，并在网络模块中将其与原子特征融合。当输入数据为某种特定格式时，相应通道将被激活，另一通道则被禁用。通过在2D和3D分子数据上以恰当设计的监督信号进行训练，Transformer-M自动学习利用来自不同数据模态的知识并正确捕获表示。我们为Transformer-M进行了大量实验。所有实证结果表明，Transformer-M可同时在2D和3D任务上取得强劲性能，显示了其广泛适用性。代码与模型将公开于 https://github.com/lsj2408/Transformer-M。