基于调制适配器的多域学习
计算机视觉与模式识别
2023-07-18 v1 机器学习
摘要
深度卷积网络在计算机视觉中无处不在，因其在不同领域的多种任务上均表现出色。然而，模型通常针对每个任务单独训练，未能利用任务与领域之间的相关性来学习更紧凑、在低数据场景下泛化更好的模型。多域学习旨在同时处理相关任务，例如跨多个领域的图像分类。此前关于该问题的工作探索了使用预训练且固定的领域无关基网络，结合较小的可学习任务特定适配模块。本文提出调制适配器（Modulation Adapters），以乘法方式针对每个任务更新模型的卷积滤波器权重。以分解方式参数化这些适配权重，使我们能够灵活扩展每任务参数量，并权衡不同的参数-精度折中。我们在由十个跨领域图像分类任务组成的 Visual Decathlon 挑战赛，以及由六个图像分类任务构成的 ImageNet-to-Sketch 基准上评估了我们的方法。我们的方法取得了优异结果，准确率与现有最先进（SOTA）方法相当或更优。
引用
@article{arxiv.2307.08528,
title = {Multi-Domain Learning with Modulation Adapters},
author = {Ekaterina Iakovleva and Karteek Alahari and Jakob Verbeek},
journal= {arXiv preprint arXiv:2307.08528},
year = {2023}
}