面向多输出深度神经网络梯度去冲突的任务偏好推理路径学习
计算机视觉与模式识别
2025-12-22 v2
摘要
多输出深度神经网络(MONs)包含多个任务分支，这些任务通常共享部分网络滤波器，导致不同任务推理路径的纠缠。由于优化目标不一致，用于训练 MONs 的任务梯度会在共享路径上相互干扰，从而降低整体模型性能。为解决该问题，本文提出一种名为 DR-MGF（动态路径与元加权梯度融合）的新型梯度去冲突算法。与现有去冲突方法不同，DR-MGF 通过学习任务偏好推理路径来实现 MONs 中的梯度去冲突。所提方法受我们的实验发现启发：共享滤波器对不同任务的重要性并不均等。通过设计可学习的任务特定重要性变量，DR-MGF 评估滤波器对不同任务的重要性。使任务对滤波器的主导性正比于滤波器的任务特定重要性，DR-MGF 能有效减少任务间干扰。任务特定重要性变量最终在训练迭代结束时决定任务偏好推理路径。在 CIFAR、ImageNet 和 NYUv2 上的大量实验表明，DR-MGF 在 MONs 的预测精度与收敛速度上均优于现有去冲突方法。此外，DR-MGF 可扩展至通用 MONs 而无需修改整体网络结构。
引用
@article{arxiv.2305.19844,
title = {Learning Task-preferred Inference Routes for Gradient De-conflict in Multi-output DNNs},
author = {Yi Sun and Xin Xu and Jian Li and Xiaochang Hu and Yifei Shi and Ling-Li Zeng},
journal= {arXiv preprint arXiv:2305.19844},
year = {2025}
}
备注
15 pages