基于稀疏性与混合性的视觉参数高效微调：用于医学诊断
计算机视觉与模式识别
2024-05-29 v1
摘要
大型视觉模型（LVMs）的成功伴随着庞大的数据 volumes，这在医学诊断中昂贵且不可取。为此，近期研究利用参数高效微调（PEFT），即在冻结其余参数的情况下仅训练少量权重。然而，这些方法通常以启发式方式将可训练权重分配到LVMs中的相同位置，忽视了任务差异，导致在医学诊断等专业应用场景下次优。为此，我们通过统计学方法揭示了诊断导向微调期间稀疏性和混合性的本质，即仅有一小部分关键权重对性能影响显著，这些关键权重包含特定于任务和通用（task-agnostic）部分。基于此，我们提出一种新的稀疏性和混合性驱动的参数高效微调方法（SH-PEFT）。该方法根据权重的重要性（通过融合特定于任务和通用策略来估计）选择并训练少量权重。我们在来自六个不同模态的医学数据集上进行验证，表明SH-PEFT在将LVMs转移到医学诊断方面实现了最先进（SOTA）性能。仅调优约0.01%的参数数量，即可超过完整模型微调。此外，SH-PEFT的性能也与为特定医学任务优化的其他模型相当。广泛的实验结果表明，每一项设计的有效性，并揭示了大模型在医学诊断中的迁移潜力巨大。
引用
@article{arxiv.2405.17877,
title = {Sparsity- and Hybridity-Inspired Visual Parameter-Efficient Fine-Tuning for Medical Diagnosis},
author = {Mingyuan Liu and Lu Xu and Shengnan Liu and Jicong Zhang},
journal= {arXiv preprint arXiv:2405.17877},
year = {2024}
}