广义K分支多模态深度模型与共享表示

基于深度玻尔兹曼机（DBMs）的多模态学习是一种融合多模态输入的生成式方法，并且可以通过对比散度（CD）学习共享表示，用于分类和信息检索任务。然而，它是一个2-fan DBM模型，不能有效处理多个预测任务。此外，当缺失模态超过一个时，该模型无法通过从条件分布采样很好地恢复隐藏表示。本文中，我们提出一种K-fan深度结构模型，能够有效处理多输入多输出学习问题。具体地，该深度结构针对不同输入具有K个分支，其中每个分支可由多层深度模型组成，并且以判别方式学习共享表示以应对多模态任务。给定该深度结构，我们提出两个目标函数来处理两种多输入多输出任务：联合视觉修复与标注，以及多视图多类对象识别任务。为了估计模型参数，我们用CD初始化深度模型参数以最大化联合分布，然后根据特定目标函数使用反向传播更新模型。实验结果证明，该模型能有效利用多源信息，并比具有竞争力的基线更好地预测多个任务。