具有可识别性保证的反事实生成
机器学习
2024-02-26 v1 计算与语言
摘要
反事实生成是各种机器学习任务的核心，包括图像翻译和可控文本生成。该生成过程通常需要识别构成观测数据基础的解耦潜在表示，如内容和风格。然而，当面临配对数据和标签信息稀缺时，这一过程变得更具挑战性。现有的解耦方法严重依赖过于简化的假设（例如假设内容和风格变量相互独立）来识别潜在变量，尽管这些假设可能不适用于复杂的数据分布。例如，食品评论倾向于包含“美味”等词汇，而电影评论对于相同的积极情感通常包含“惊险”等词汇。当数据采样自多个领域时，这一问题更加严重，因为内容与风格之间的依赖性可能在不同领域间显著变化。在本工作中，我们解决了反事实生成任务中固有的内容与风格变量之间随领域变化的依赖性问题。通过利用不同潜在变量影响的相对稀疏性，我们为这类潜在变量模型提供了可识别性保证。我们的理论见解促成了名为 MATTE 的域自适应反事实生成模型的开发。我们这一基于理论的框架在无监督风格迁移任务中实现了最先进的性能，这些任务既不使用配对数据也不使用风格标签，并在四个大规模数据集上进行了验证。代码地址：https://github.com/hanqi-qi/Matte.git
引用
@article{arxiv.2402.15309,
title = {Counterfactual Generation with Identifiability Guarantees},
author = {Hanqi Yan and Lingjing Kong and Lin Gui and Yuejie Chi and Eric Xing and Yulan He and Kun Zhang},
journal= {arXiv preprint arXiv:2402.15309},
year = {2024}
}
备注
Neurips23. Controllable generation in causal perspective with a case study of ChatGPT, sheds light on theory-guaranteed alignment in language models