X-LoRA：低秩适配器专家混合，一个面向大语言模型的灵活框架及其在蛋白质力学与分子设计中的应用
软凝聚态物质
2024-04-02 v2 无序系统与神经网络
人工智能
计算与语言
机器学习
定量方法
摘要
我们报告了一种专家混合策略，该策略基于低秩适配（LoRA），采用深层的逐层令牌级方法创建微调后的大语言模型。从一组预训练的 LoRA 适配器开始，我们的门控策略利用隐藏状态动态混合适配层，使生成的 X-LoRA 模型能够利用不同的能力，并创建前所未有的深层逐层组合来解决问题。该设计灵感来源于普遍性与多样性的生物学原理，其中神经网络构建块在不同的层级表现中被重复使用。因此，X-LoRA 模型可以轻松地为任何现有的大语言模型（LLM）实现，无需修改底层结构。我们开发了一个定制的 X-LoRA 模型，该模型提供科学能力，包括正向/逆向分析任务和增强的推理能力，专注于生物材料分析、蛋白质力学与设计。这项工作的影响包括提供易于扩展和适应、具有强大领域知识并能整合跨领域知识能力的模型。该模型拥有生物学、数学、推理、仿生材料、力学与材料、化学、蛋白质生物物理学、力学以及基于量子力学的分子性质等领域的专家，我们进行了一系列以物理为重点的案例研究。我们检验了知识回忆、蛋白质力学正向/逆向任务、蛋白质设计、对抗性智能体建模（包括本体知识图谱构建）以及分子设计。该模型不仅能够对蛋白质的纳米力学性质或量子力学分子性质进行定量预测，还能对结果进行推理，并正确预测解释不同分子行为的可能机制。
引用
@article{arxiv.2402.07148,
title = {X-LoRA: Mixture of Low-Rank Adapter Experts, a Flexible Framework for Large Language Models with Applications in Protein Mechanics and Molecular Design},
author = {Eric L. Buehler and Markus J. Buehler},
journal= {arXiv preprint arXiv:2402.07148},
year = {2024}
}