最大化域不变表示中的信息可改善迁移学习
计算机视觉与模式识别
2025-09-11 v5 机器学习
摘要
我们提出 MaxDIRep，一种域自适应方法，可改善数据表示分解为域独立与域依赖分量。现有方法（如域分离网络（DSN））对这些分量使用弱正交约束，可能导致与标签相关的特征部分编码于域依赖表示（DDRep）而非域独立表示（DIRep）中。结果，对目标域分类至关重要的信息可能缺失于 DIRep。MaxDIRep 通过施加 Kullback-Leibler（KL）散度约束以最小化 DDRep 的信息量，从而促使 DIRep 保留既域不变又能预测目标标签的特征，解决了该问题。通过几何分析与合成数据集上的消融研究，我们展示了 DSN 较弱约束导致次优自适应的原因。在标准图像基准与网络入侵检测任务上的实验表明，MaxDIRep 取得强劲性能，可与预训练模型协作，并泛化至非图像分类任务。
引用
@article{arxiv.2306.00262,
title = {Maximizing Information in Domain-Invariant Representation Improves Transfer Learning},
author = {Adrian Shuai Li and Elisa Bertino and Xuan-Hong Dang and Ankush Singla and Yuhai Tu and Mark N Wegman},
journal= {arXiv preprint arXiv:2306.00262},
year = {2025}
}