像素承压：探索高分辨率医学成像中基础模型的微调范式
图像与视频处理
2025-08-22 v1 图形学
摘要
基于扩散的基础模型推动了文本到图像生成的发展，但大多数工作仅限于低分辨率设置。随着高分辨率图像合成在医学成像等领域变得越来越重要，微调成为将这些强大的预训练模型适配到特定任务需求和数据分布的关键机制。在本工作中，我们进行了一项系统性研究，考察了将图像生成质量扩展到512×512像素高分辨率时不同微调技术的影响。我们对多种微调方法进行了基准测试，包括全参数微调策略和参数高效微调(PEFT)。我们剖析了不同微调方法如何影响关键质量指标，包括Fréchet Inception Distance(FID)、Vendi分数和提示-图像对齐度。我们还在数据稀缺条件下评估了生成图像在下游分类任务中的效用，证明特定的微调策略在使用合成图像训练分类器并在真实图像上进行评估时，能够同时提升生成保真度和下游性能。我们的代码可通过项目网站获取：https://tehraninasab.github.io/PixelUPressure/。
引用
@article{arxiv.2508.14931,
title = {Pixels Under Pressure: Exploring Fine-Tuning Paradigms for Foundation Models in High-Resolution Medical Imaging},
author = {Zahra TehraniNasab and Amar Kumar and Tal Arbel},
journal= {arXiv preprint arXiv:2508.14931},
year = {2025}
}