IKD+：用于视网膜病变分类的可靠低复杂度深度模型
机器学习
2024-02-14 v1 人工智能
计算机视觉与模式识别
摘要
用于视网膜病变的深度神经网络（DNN）模型的估计预测准确率在中高 90% 区间。然而以下方面仍待解决：最先进模型复杂且需要大量计算基础设施来训练和部署；预测的可靠性可能差异很大。本文关注这些方面并提出一种迭代知识蒸馏（IKD）的改进形式，称为 IKD+，其在规模、准确率与可靠性之间进行权衡。我们使用两种广泛采用的模型校准估计技术（Platt 标度与温度标度），基于现有性能最佳的模型（一个约 1 亿参数的 EfficientNet 集成）来研究 IKD+ 的机制。我们证明，配备温度标度的 IKD+ 所得模型参数数量相较原始集成最多减少约 500 倍，且准确率无显著损失。此外，IKD+ 模型的校准分数（可靠性）与基准模型相当或更好。
引用
@article{arxiv.2303.02310,
title = {IKD+: Reliable Low Complexity Deep Models For Retinopathy Classification},
author = {Shreyas Bhat Brahmavar and Rohit Rajesh and Tirtharaj Dash and Lovekesh Vig and Tanmay Tulsidas Verlekar and Md Mahmudul Hasan and Tariq Khan and Erik Meijering and Ashwin Srinivasan},
journal= {arXiv preprint arXiv:2303.02310},
year = {2024}
}
备注
Submitted to IEEE International Conference on Image Processing (ICIP 2023)