在潜在层次模型中学习离散概念

从自然高维数据(例如图像)中学习概念在构建符合人类认知且可解释的机器学习模型方面具有潜力。尽管前景令人鼓舞，但这一关键任务的数学形式化和理论见解仍然缺乏。在这项工作中，我们将概念形式化为离散的潜在因果变量，这些变量通过一个编码嵌入在高维数据(例如自然图像中的狗品种及其眼睛形状)中的不同抽象层次概念的层次因果模型相关联。我们制定了促进所提出的因果模型可识别性的条件，这揭示了何时可以从无监督数据中学习此类概念。我们的条件允许超越先前工作中潜在树和多级有向无环图的复杂因果层次结构，并且可以处理高维、连续的观测变量，这非常适合图像等非结构化数据模态。我们通过合成数据实验证实了我们的理论主张。此外，我们讨论了我们的理论对于理解潜在扩散模型底层机制的含义，并为我们的理论见解提供了相应的经验证据。