GuideBP：通过并行 logits 的较弱路径引导反向传播
机器学习
2021-04-26 v1 计算机视觉与模式识别
摘要
卷积神经网络常生成多个 logits，并使用加法或平均等简单技术计算损失。但这使得梯度在所有路径间均匀分配。所提方法沿最弱概念表示引导反向传播的梯度。弱点分数定义了各路径的类别特定性能，并用于创建一个 logit 以沿最弱路径引导梯度。所提方法已被证明优于传统的列合并技术，并可用于多种应用场景。所提模型不仅可作为并行训练模型多个实例的高效技术，而且具有多个输出分支的 CNN 在使用所提改进后也表现出更好性能。各类实验从经验和统计上确立了该学习技术的灵活性，其在多种多目标场景中简单而有效。
引用
@article{arxiv.2104.11620,
title = {GuideBP: Guiding Backpropagation Through Weaker Pathways of Parallel Logits},
author = {Bodhisatwa Mandal and Swarnendu Ghosh and Teresa Gonçalves and Paulo Quaresma and Mita Nasipuri and Nibaran Das},
journal= {arXiv preprint arXiv:2104.11620},
year = {2021}
}