通过噪声注入深层InfoMax实现表示的高效分布匹配
机器学习
2025-01-15 v2 信息论
math.IT
机器学习
摘要
Deep InfoMax（DIM）是一种基于最大化深度神经网络编码器输入与输出之间相互信息的方法，用于自监督表示学习（SSRL）。尽管DIM和对比式SSRL总体上已被充分探索，但学习符合特定分布的表示（即分布匹配，DM）仍未得到充分关注。由于DM对多个下游任务（包括生成式建模、解耦、离群值检测等）至关重要，动机不足以弥补这一空白。为实现自动匹配所选先验分布的学习表示，我们提出在编码器标准化输出中注入独立噪声，同时保持相同的InfoMax训练目标。我们展示了此修改允许学习均匀分布和正态分布的表示，以及其他绝对连续分布的表示。我们在各种下游任务上测试了该方法。结果表明，在下游任务性能与分布匹配质量之间存在适度的权衡。
关键词
引用
@article{arxiv.2410.06993,
title = {Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax},
author = {Ivan Butakov and Alexander Semenenko and Alexander Tolmachev and Andrey Gladkov and Marina Munkhoeva and Alexey Frolov},
journal= {arXiv preprint arXiv:2410.06993},
year = {2025}
}
备注
25 pages, 7 fugures