可判别性-可迁移性权衡：信息论视角
计算机视觉与模式识别
2022-07-22 v3 人工智能
摘要
本工作同时考虑典型监督学习任务（即图像分类）中深度表征的可判别性与可迁移性性质。通过全面的时间分析，我们观察到这两种性质之间存在权衡：可判别性随训练推进不断增强，而可迁移性在训练后期剧烈下降。从信息瓶颈理论视角，我们揭示可判别性与可迁移性之间的不兼容归因于对输入信息的过度压缩。更重要的是，我们探究了 InfoNCE 损失为何及如何缓解过度压缩，并进一步提出一个名为对比时间编码（CTC）的学习框架，以对抗过度压缩并缓解不兼容性。大量实验验证 CTC 成功减轻了不兼容性，产生了具有可判别性与可迁移性的表征。在图像分类任务及具挑战性的迁移学习任务上均取得了显著改进。我们希望本工作能提升传统监督学习设定中可迁移性性质的重要性。代码见 https://github.com/DTennant/dt-tradeoff。
引用
@article{arxiv.2203.03871,
title = {Discriminability-Transferability Trade-Off: An Information-Theoretic Perspective},
author = {Quan Cui and Bingchen Zhao and Zhao-Min Chen and Borui Zhao and Renjie Song and Jiajun Liang and Boyan Zhou and Osamu Yoshie},
journal= {arXiv preprint arXiv:2203.03871},
year = {2022}
}
备注
Accepted by ECCV 2022, Quan Cui and Bingchen Zhao contributed equally to this work