Cephalo：面向生物启发材料分析与设计的多模态视觉语言模型

我们提出了Cephalo系列多模态视觉大语言模型（V-LLM），专为材料科学应用而设计，集成视觉与语言数据以实现更深入的理解。Cephalo的一个关键创新是其高级数据生成方法。Cephalo在来自数千篇科学论文和科学维基百科数据训练，能够有效解释复杂的视觉场景，生成精确的语言描述，并回答关于图像的查询。视觉编码器与自回归变换器的组合支持多模态自然语言理解，可与其他生成方法相耦合，用于创建图像到文本到3D的管道。为从较小的模型开发出更有能力的模型，我们报告了混合专家方法和模型合并。我们在包含生物材料、断裂和工程分析、蛋白质生物物理学以及基于昆虫行为的生物启发设计等多种用例中检验模型。生成应用包括生物启发设计，包括基于花粉的构件材料，以及从日食照片生成生物启发材料微结构。对模型进行一系列分子动力学结果的细调，表明Cephalo的增强能力在准确预测应力和原子能分布的统计特征、裂纹动力学和材料损伤方面具有优势。