SalNAS：基于自知识蒸馏的高效显著性预测神经架构搜索
计算机视觉与模式识别
2024-07-30 v1 人工智能
机器学习
摘要
深度卷积神经网络的最新进展显著提升了显著性预测的性能。然而，手动配置神经网络架构需要专业知识，且可能耗时且容易出错。为解决此问题，我们提出了一种用于显著性预测的新型神经架构搜索(NAS)框架，包含两项贡献。首先，构建了一个用于显著性预测的超网络，该网络是一个包含所有候选架构的权重共享网络，通过将动态卷积集成到超网络的编码器-解码器中，称为SalNAS。其次，尽管SalNAS效率很高（2098万参数），但它可能存在泛化能力不足的问题。为此，我们提出了一种自知识蒸馏方法，称为Self-KD，该方法使用教师模型预测与真实标签之间的加权平均信息来训练学生模型SalNAS。教师模型与SalNAS共享相同的架构，但包含通过交叉验证选择的最佳性能权重。Self-KD无需计算教师模型的梯度即可实现良好的泛化，从而构建高效的训练系统。通过使用Self-KD，SalNAS在大多数评估指标上优于其他最先进的显著性预测模型，同时保持了轻量级的模型规模，并在七个基准数据集上进行了验证。代码可在 https://github.com/chakkritte/SalNAS 获取。
引用
@article{arxiv.2407.20062,
title = {SalNAS: Efficient Saliency-prediction Neural Architecture Search with self-knowledge distillation},
author = {Chakkrit Termritthikun and Ayaz Umer and Suwichaya Suwanwimolkul and Feng Xia and Ivan Lee},
journal= {arXiv preprint arXiv:2407.20062},
year = {2024}
}
备注
Published in Engineering Applications of Artificial Intelligence