联合能量模型的稳定化训练及其实际应用
机器学习
2023-03-09 v1
摘要
近期提出的联合能量模型(JEM)将判别训练的 classifier 解释为能量模型，同时也作为描述输入观测分布 的生成模型进行训练。JEM 训练依赖于“正例”（即来自训练数据集的样本）与“负例”，负例是通过随机梯度 Langevin 动力学(SGLD)从建模分布 中生成的样本。遗憾的是，在标准 JEM 训练中 SGLD 常无法提供足够质量的负例，导致计算 JEM 更新梯度时正负例贡献极不平衡。因此，标准 JEM 训练相当不稳定，需仔细调参，并在训练发散时频繁重启。这使得 JEM 难以应用于不同神经网络架构、模态与任务。本工作中，我们提出一种通过平衡正负例贡献来稳定基于 SGLD 的 JEM 训练(ST-JEM)的流程。我们还提议在训练目标中增加额外的“正则化”项——输入观测 与输出标签 之间的互信息(MI)——以鼓励 JEM 分类器对输出标签做出更确定的决策。我们在 CIFAR10 与 CIFAR100 任务上展示了方法的有效性。我们还考虑了语音信号中音素分类任务，若无所提稳定化手段则无法训练 JEM。我们展示了可从训练模型生成令人信服的语音；或者，通过少量 SGLD 迭代使受损语音更接近建模语音分布，从而对其进行去噪。我们还提出并讨论了训练模型的其他应用。
引用
@article{arxiv.2303.04187,
title = {Stabilized training of joint energy-based models and their practical applications},
author = {Martin Sustek and Samik Sadhu and Lukas Burget and Hynek Hermansky and Jesus Villalba and Laureano Moro-Velazquez and Najim Dehak},
journal= {arXiv preprint arXiv:2303.04187},
year = {2023}
}