基于对比学习的预训练基础模型用于解码跨模态成像噪声组学
计算机视觉与模式识别
2026-01-27 v1 机器学习
图像与视频处理
摘要
刻画成像噪声始终是数据密集且依赖设备的，因现代传感器将物理信号与复杂算法性伪影耦合。当前范式在没有大规模监督数据集的情况下难以分离这些因素，常将噪声简化为单纯的干扰而非信息资源。本文引入“噪声组学”(Noisomics)框架，将关注点从抑制噪声转向通过对比式预训练(CoP)基础模型进行系统性噪声解码。CoP 利用流形假设和合成噪声基因组，采用对比学习来分离语义信号与随机扰动。关键在于，CoP 打破传统深度学习扩展规律，仅需100个训练样本即可实现优于基于10万样本训练的监督基线的优异性能，从而将数据和计算依赖性降低了三个数量级。广泛的在12个多样化域外数据集上的基准测试确认了其稳健的零样本泛化能力，估计误差降低63.8%，决定系数提升85.1%。我们展示了CoP在不同尺度上的实用性：从解码消费级摄影中非线性硬件噪声相互作用，到优化深组织显微镜的光子高效协议。通过将噪声解码为多参数足迹，本工作重新定义了随机退化为至关重要的信息资源，使无需设备校准即可实现精准成像诊断。
引用
@article{arxiv.2601.17047,
title = {A Contrastive Pre-trained Foundation Model for Deciphering Imaging Noisomics across Modalities},
author = {Yuanjie Gu and Yiqun Wang and Chaohui Yu and Ang Xuan and Fan Wang and Zhi Lu and Biqin Dong},
journal= {arXiv preprint arXiv:2601.17047},
year = {2026}
}