自动化神经元标记：蛋白质语言模型中的生成式驾驶与可解释性
机器学习
2025-07-10 v1 生物大分子
摘要
蛋白质语言模型(PLMs)编码了丰富的生物学信息，但其内部神经元表示鲜有被理解。我们引入了首个自动化框架，用于为PLM中的每个神经元标记并赋予生物学基础的自然语言描述。不同于依赖稀疏自编码器或手动注释的先前方法，本方法可扩展至数十万个神经元，揭示单个神经元对多样生化和结构属性具有选择性敏感性。我们 then 发展了一种新颖的神经元激活引导驾驶方法，用于生成具有所需特征的蛋白质，实现对分子量、不稳定指数以及次级和三级结构 motifs（包括α螺旋和标准锌指纹）的收敛。最后，我们表明，对不同模型大小中标记神经元的分析揭示了PLM的比例规律及其神经元空间分布的结构性。
引用
@article{arxiv.2507.06458,
title = {Automated Neuron Labelling Enables Generative Steering and Interpretability in Protein Language Models},
author = {Arjun Banerjee and David Martinez and Camille Dang and Ethan Tam},
journal= {arXiv preprint arXiv:2507.06458},
year = {2025}
}
备注
15 pages, 13 figures. Accepted to Proceedings of the Workshop on Generative AI for Biology at the 42nd International Conference on Machine Learning (Spotlight)