通过模态间达成共识进行半监督分类
机器学习
2018-11-20 v2 多媒体
声音
音频与语音处理
信号处理
机器学习
摘要
深度学习已展现出学习复杂结构的能力，但它们可能受到可用数据的限制。最近，共识网络（Consensus Networks, CNs）被提出，通过利用来自多模态的特征来缓解数据稀疏性，但它们同样受到标记数据规模的局限。在本文中，我们将 CN 扩展为转导共识网络（Transductive Consensus Networks, TCNs），适用于半监督学习。在 TCNs 中，输入的不同模态被压缩为潜在表示，我们在迭代对抗训练中鼓励这些表示变得不可区分。为了理解 TCNs 的共识与分类两种机制，我们在对这些机制的消融研究中提出了其三种变体。为了进一步研究 TCN 模型，我们将潜在表示视为概率分布，并将它们的相似性度量为负相对 Jensen-Shannon 散度。我们表明，有益于分类的共识状态期望表示之间具有稳定但不完美的相似性。总体而言，在 Bank Marketing 和 DementiaBank 数据集上给定 20 至 200 个标记样本时，TCNs 优于或与最佳基准算法持平。
引用
@article{arxiv.1805.09366,
title = {Semi-supervised classification by reaching consensus among modalities},
author = {Zining Zhu and Jekaterina Novikova and Frank Rudzicz},
journal= {arXiv preprint arXiv:1805.09366},
year = {2018}
}
备注
NIPS IRASL Workshop 2018