化学语言模型的可解释性技术
机器学习
2023-05-29 v1 人工智能
化学物理
定量方法
摘要
可解释性技术对于深入理解深度学习模型预测背后的原因至关重要，而这些技术尚未应用于化学语言模型。我们提出了一种可解释人工智能（explainable AI）技术，用于归因化学语言模型预测中单个原子的重要性。我们的方法将相关性信息反向传播至化学输入字符串，并可视化单个原子的重要性。我们聚焦于在分子字符串表示上运行的自我注意力（self-attention）Transformer，并利用预训练编码器进行微调。我们通过预测并可视化在水及有机溶剂中的溶解度来展示该方法。我们在获得具有可解释性的预测的同时取得了具有竞争力的模型性能，并借此检视该预训练模型。
引用
@article{arxiv.2305.16192,
title = {Explainability Techniques for Chemical Language Models},
author = {Stefan Hödl and William Robinson and Yoram Bachrach and Wilhelm Huck and Tal Kachman},
journal= {arXiv preprint arXiv:2305.16192},
year = {2023}
}