面向多视图表示学习的解耦变分信息瓶颈
机器学习
2021-05-18 v1 计算机视觉与模式识别
信息论
math.IT
摘要
多视图数据包含来自多种模态的信息，有潜力为多样的机器学习任务提供更全面的特征。多视图分析中的一个基本问题是：额外视图带来了什么附加信息，且能否定量识别该附加信息。本工作中，我们试图通过将纠缠的多视图特征分解为所有视图间共有的共享潜表示以及各单独视图特有的私有表示，来应对这一挑战。我们在信息瓶颈框架下形式化此特征解耦，并提出解耦变分信息瓶颈（DVIB）。DVIB利用互信息的约束显式定义共享与私有表示的性质。通过推导互信息项的变分上界与下界，表示得以高效优化。我们展示了 DVIB 学到的共享与私有表示分别良好保留了两视图间共享的标签与对应各单独视图的独特标签。DVIB 在含损坏图像的分类任务中也展现出可比性能。DVIB 实现见 https://github.com/feng-bao-ucsf/DVIB。
引用
@article{arxiv.2105.07599,
title = {Disentangled Variational Information Bottleneck for Multiview Representation Learning},
author = {Feng Bao},
journal= {arXiv preprint arXiv:2105.07599},
year = {2021}
}