MERLIN：构建用于电磁信号的低信噪比鲁棒多模态大语言模型
计算机视觉与模式识别
2026-03-25 v2
摘要
多模态大语言模型（MLLMs）的范式为推进电磁（EM）领域提供了一个有前景的蓝图。然而，现有方法往往偏离原生MLLM范式，转而使用任务特定或流水线架构，这导致了模型性能和泛化能力方面的根本性限制。在EM领域充分实现MLLM潜力需要克服三个主要挑战：（1）数据。用于MLLM预训练的配对EM信号和描述性文本注释的高质量数据集稀缺；（2）基准。缺乏全面的基准来系统评估和比较模型在EM信号到文本任务上的性能；（3）模型。在低信噪比（SNR）环境中存在关键脆弱性，其中关键信号特征可能被掩盖，导致显著的性能下降。为了解决这些挑战，我们提出了三方贡献，为EM领域的MLLM奠定基础。首先，为了克服数据稀缺，我们构建并发布了EM-100k，这是一个包含超过100,000个EM信号-文本对的大规模数据集。其次，为了实现严格和标准化的评估，我们提出了EM-Bench，这是最全面的基准，涵盖了从感知到推理的多样化下游任务。最后，为了解决核心建模挑战，我们提出了MERLIN，一种新颖的训练框架，不仅旨在将低级信号表示与高级语义文本对齐，还明确增强模型在具有挑战性的低SNR环境中的鲁棒性和性能。综合实验验证了我们的方法，表明MERLIN在EM-Bench中达到了最先进的性能，并在低SNR设置中表现出卓越的鲁棒性。
引用
@article{arxiv.2603.08174,
title = {MERLIN: Building Low-SNR Robust Multimodal LLMs for Electromagnetic Signals},
author = {Junyu Shen and Zhendong She and Chenghanyu Zhang and Yuchuang Sun and Luqing Luo and Dingwei Tan and Zonghao Guo and Bo Guo and Zehua Han and Wupeng Xie and Yaxin Mu and Peng Zhang and Peipei Li and Fengxiang Wang and Yangang Sun and Maosong Sun},
journal= {arXiv preprint arXiv:2603.08174},
year = {2026}
}