对比-对抗与扩散：探索脑叶识别的预训练与微调策略
图像与视频处理
2024-05-30 v1 计算机视觉与模式识别
摘要
过去十年，计算机视觉 witnessed各种训练和学习方法的建立。诸如对抗学习、对比学习、扩散去噪学习和普通重构学习等技术已成为在各种视觉任务中进行完全训练或预训练网络的先进方法。对微调方法的探索已成为当前焦点，旨在以更少的GPU内存使用和时间成本来提高整体性能，正如低秩适应（LoRA）等方法所示。关键问题是：哪种预训练技术能获得最佳结果——对抗、对比、重构还是扩散去噪？这些方法的性能如何随着微调复杂度的调整而变化？本研究旨在阐明预训练技术和微调策略以增强神经网络在独立相同分布（IID）队列中的学习过程。我们强调了通过各种案例（包括完全微调、解码器微调、顶级微调以及使用LoRA对线性参数进行微调）来进行微调的重要性。 presented系统性总结模型性能和效率，利用准确率、时间成本和内存效率等指标。为实证证明我们的发现，我们聚焦于使用不同3D卷积神经网络（CNN）架构对paracingulate sulcus（PCS）进行的多任务分割-分类挑战，采用由TOP-OSLO队列组成的596名受试者队列。
引用
@article{arxiv.2405.19204,
title = {Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification},
author = {Michail Mamalakis and Héloïse de Vareilles and Shun-Chin Jim Wu and Ingrid Agartz and Lynn Egeland Mørch-Johnsen and Jane Garrison and Jon Simons and Pietro Lio and John Suckling and Graham Murray},
journal= {arXiv preprint arXiv:2405.19204},
year = {2024}
}