一种用于学习解耦文本表示的互信息新估计器
人工智能
2021-05-07 v1
摘要
学习文本数据的解耦表示对于许多自然语言任务至关重要，例如公平分类、风格迁移和句子生成等。在文本数据背景下现有的主导方法要么依赖于训练一个旨在使属性值难以从潜变量编码中推断出的对抗者（判别器），要么依赖于最小化潜变量编码与属性值之间互信息的变分界。然而，现有方法无法提供对解耦程度（或力度）的细粒度控制。与对抗方法相比，对抗方法虽然非常简单，且在训练阶段对抗者似乎表现完美，但完成后关于不期望属性仍有相当数量的信息残留。本文引入了编码器属性与潜变量编码之间互信息的一种新变分上界。我们的上界旨在通过Renyi散度控制近似误差，从而获得更好的解耦表示，特别是相比针对文本数据提出的最先进方法，能精确控制所需的解耦程度。此外，它在多类场景中不会遭受其他损失的退化问题。我们在公平分类和文本风格迁移任务上展示了该方法的优越性。此外，我们提供了新见解，阐明了在尝试学习解耦表示与生成句子质量之间进行风格迁移时的各种权衡。
引用
@article{arxiv.2105.02685,
title = {A Novel Estimator of Mutual Information for Learning to Disentangle Textual Representations},
author = {Pierre Colombo and Chloe Clavel and Pablo Piantanida},
journal= {arXiv preprint arXiv:2105.02685},
year = {2021}
}