通过稀疏自编码器揭示化学语言模型中的隐含知识
机器学习
2025-12-10 v1 化学物理
摘要
自机器学习出现以来，可解释性一直是持久的挑战，随着生成模型在药物和材料发现中日益增长的高风险应用，挑战日益突出。最近的大型语言模型（LLM）架构发展为化学语言模型（CLMs）带来了在分子属性预测和分子生成方面令人印象深刻的能力。然而，这些模型如何内部表示化学知识仍不为人所知。在本工作中，我们将稀疏自编码器技术扩展用于发现和检查 CLMs 中的可解释特征。我们将该方法应用于 Foundation Models for Materials（FM4M）SMI-TED 化学基础模型，提取语义上有意义的隐含特征并分析其在多样分子数据集中的激活模式。我们的发现表明，这些模型编码了丰富的化学概念景观。我们识别出特定隐含特征与化学知识的不同领域之间的相关性，包括结构构型、理化性质和药理学药物类别。我们的做法为发现化学领域人工智�系统中的隐含知识提供了通用框架。该工作对基本理解和实际部署都有意义；有潜力加速计算化学研究。
引用
@article{arxiv.2512.08077,
title = {Unveiling Latent Knowledge in Chemistry Language Models through Sparse Autoencoders},
author = {Jaron Cohen and Alexander G. Hasson and Sara Tanovic},
journal= {arXiv preprint arXiv:2512.08077},
year = {2025}
}