基于信息论学习的鲁棒深度表示
机器学习
2019-05-31 v1 机器学习
摘要
我们提出一种基于信息论学习数据鲁棒深度表示的新目标函数。数据被投影到特征向量空间中，使得相对于监督信号的所有特征子集的互信息最大化。该目标函数通过在与噪声或缺失特征对抗时保留相对于监督的可用信息，从而产生鲁棒表示。尽管该目标函数不能直接求解，但我们能够推导出一个替代目标函数。最小化该替代损失鼓励特征相对于监督信号为非冗余且条件独立。为评估所得解的质量，我们进行了一组初步实验，显示出有前景的结果。
引用
@article{arxiv.1905.12874,
title = {Information theoretic learning of robust deep representations},
author = {Nicolas Pinchaud},
journal= {arXiv preprint arXiv:1905.12874},
year = {2019}
}
备注
NIPS 2011 workshop