通过定制化和混合视觉-语言表示将异构微结构信息与专家表征知识链接用于工业资格认证

快速可靠地 qualify 高级材料仍是工业制造中的瓶颈，尤其是通过非惯常增材制造工艺生产的异构结构。本研究引入了一种新框架，通过定制化和混合视觉-语言表示（VLR）将微结构信息与各类专家表征知识相链接。通过将深度语义分割与预训练多模态模型（CLIP 和 FLAVA）集成，我们对视觉微结构数据和文本专家评估进行编码，嵌入共享表示中。为克服通用嵌入的局限性，我们开发了基于相似度的定制化表示，纳入专家标注图像及其关联文本描述的正向和负向参考。这允许通过净相似度评分方法对以前无法见到的微结构进行零样本分类。在增材制造金属基复合材料数据集上的验证表明，该框架能够区分不同表征标准下的合格与不合格样本。比较分析显示，FLAVA 模型提供更高的视觉灵敏度，而 CLIP 模型与文本标准保持一致的对齐。Z-score 归一化根据其本地数据驱动分布调整原始单模态和跨模态相似度分数，使混合视觉-语言框架中的对齐和分类更有效。该方法通过在无需任务特定模型再训练的情况下实现人类在环决策，增强了资格认证管道中的可追溯性和可解释性。通过推进原始数据与专家知识之间的语义互操作性，该工作为工程信息学中的可扩展且领域适应性的资格策略贡献了一步。