DEFT：通过阻止信息扩散来蒸馏纠缠因子
机器学习
2022-04-26 v3 人工智能
摘要
解纠缠因其与人类理解及推理的相似性，是表征中备受青睐的性质。许多工作基于信息瓶颈（IB）实现解纠缠。尽管数学基础优雅，IB 分支通常表现较差。为洞察该问题，我们设计了一种退火测试以计算信息冻结点（IFP），其为将信息冻结至潜变量的过渡状态。我们还依据 IFP 分布的差异探索这些线索或归纳偏置以分离纠缠因子。我们发现现有方法受信息扩散问题困扰，即增加的信息扩散至所有潜变量。基于该洞察，我们提出一种称为蒸馏纠缠因子（DEFT）的新解纠缠框架，通过缩放反向信息来解决信息扩散问题。DEFT 采用多阶段训练策略，包括具不同学习率的多组编码器与分段解纠缠压力，以逐步解纠缠各因子。我们在 dSprite 与 SmallNORB 的三个变体上评估 DEFT，其展现出低方差与高水平的解纠缠分数。此外，在相关因子下的实验显示基于 TC 的方法无能胜任。DEFT 在无监督设定下亦具竞争性能。
引用
@article{arxiv.2102.03986,
title = {DEFT: Distilling Entangled Factors by Preventing Information Diffusion},
author = {Jiantao Wu and Lin Wang and Bo Yang and Fanqi Li and Chunxiuzi Liu and Jin Zhou},
journal= {arXiv preprint arXiv:2102.03986},
year = {2022}
}