PePR：以单位资源性能为度量促进医学图像分析中的小规模深度学习
机器学习
2024-12-06 v2 人工智能
机器学习
摘要
深度学习（DL）的最新进展得益于大规模数据和计算资源的获取。这些大规模资源已被用于训练越来越大的模型，这些模型在计算、数据、能源和碳排放方面都是资源密集型的。这些成本正成为一种新型的准入门槛，阻碍了资源获取有限的科研人员和从业者，尤其是在全球南方地区。在这项工作中，我们全面审视了用于医学图像分析任务的现有深度学习模型格局，并展示了它们在资源受限环境中的实用性。为了考量深度学习模型的资源消耗，我们引入了一种新的度量来估计单位资源性能，我们称之为 PePR 分数。利用一个包含 131 种独特深度学习架构（可训练参数从 1M 到 130M）的多样化家族和三个医学图像数据集，我们捕捉了关于性能-资源权衡的趋势。在医学图像分析等应用中，我们认为小规模、专用化的模型优于追求大规模模型。此外，我们表明，与从头训练模型相比，使用在新数据上微调的现有预训练模型可以显著减少所需的计算资源和数据。我们希望这项工作能鼓励社区专注于通过开发具有更小资源足迹的方法和模型来改善人工智能的公平性。
引用
@article{arxiv.2403.12562,
title = {PePR: Performance Per Resource Unit as a Metric to Promote Small-Scale Deep Learning in Medical Image Analysis},
author = {Raghavendra Selvan and Bob Pepin and Christian Igel and Gabrielle Samuel and Erik B Dam},
journal= {arXiv preprint arXiv:2403.12562},
year = {2024}
}
备注
Accepted to be published at the Northern Lights Deep Learning Conference (NLDL), 2025. Source code available at https://github.com/saintslab/PePR