面向半导体电子显微镜分析的参数高效量化混合专家模型视觉语言指令调优
机器学习
2024-08-29 v1 人工智能
计算机视觉与模式识别
摘要
半导体器件是现代电子的关键组件，但在基础模型研究中存在不足。这凸显了需要增强半导体器件技术组合并助力高端器件制造的必要性。本文引入 sLAVA，一个专为半导体制造定制的小型视觉语言助手，专注于电子显微镜图像分析。它解决了数据稀缺和获取高质量专家标注数据等挑战。我们采用教师-学生范式，使用类似 GPT-4 的基础视觉语言模型作为教师，为定制学生模型 sLAVA 用于电子显微镜图像分析任务创建指令遵循多模态数据。在有限预算的消费硬件上实现该框架。我们的做法使企业能够在自己的基础设施中安全地使用专有数据进一步微调所提出的框架，从而保护知识产权。严格的实验表明，我们的框架优于传统方法，能够处理数据漂移，并实现高通量筛选。
引用
@article{arxiv.2408.15305,
title = {Parameter-Efficient Quantized Mixture-of-Experts Meets Vision-Language Instruction Tuning for Semiconductor Electron Micrograph Analysis},
author = {Sakhinana Sagar Srinivas and Chidaksh Ravuru and Geethan Sannidhi and Venkataramana Runkana},
journal= {arXiv preprint arXiv:2408.15305},
year = {2024}
}
备注
Paper published at ICML 2024 Workshop on Foundation Models in the Wild