通过任务特定归一化简化多任务架构

多任务学习（MTL）旨在利用跨任务的共享知识来提高泛化能力和参数效率， 但在资源分配和缓解干扰方面仍面临开放性挑战。 Architectural解决方案常常引入复杂的任务特定模块或路由方案， 增加复杂度和开销。 本文我们表明， 仅凭归一化层就足以解决其中许多挑战。 替换共享归一化为任务特定变体后， 已即可获得具竞争力的性能， 这质疑了复杂设计的必要性。 在此基础上，我们提出了任务特定 sigmoid 批归一化（TS$\sigma$BN）， 这是一种轻量级机制， 使任务能够在完全共享特征提取器的同时软性分配网络容量。 TS$\sigma$BN 在CNN和Transformer上均提升了稳定性， 在NYUv2、Cityscapes、CelebA和PascalContext上实现了匹配或超越现有性能， 同时保持高度的参数效率。 此外，其所学习的门控机制为分析MTL动态提供了自然框架， 提供了关于容量分配、滤波器专业化以及任务关系的可解释性见解。 我们的发现表明， 复杂的MTL架构可能是不必要的， 任务特定归一化提供了一种简单、可解释且高效的替代方案。