从非解耦模型中提取解耦表示
机器学习
2021-02-12 v1
摘要
构建解耦表示是一项已知困难的任务，尤其在无监督场景下。当前无监督解耦的主流范式是训练一个生成模型，在其潜空间中分离不同的变化因子。这种分离通常通过以模型目标函数中的特定正则化项进行训练来强制实现。然而，这些项引入了额外的超参数，负责解耦与生成质量之间的权衡。虽然调整这些超参数对恰当解耦至关重要，但往往不清楚如何在无外部监督下调整它们。本文研究了解耦表示的另一条路径。即，我们提出从最先进的、在目标中未含解耦项训练的生成模型中提取此类表示。这种事后解耦范式在学习表示时采用极少或零超参数，同时在既定解耦指标、公平性及抽象推理任务上的对比表明其取得了与现有最先进方法相当的结果。我们的所有代码与模型均已公开可用。
引用
@article{arxiv.2102.06204,
title = {Disentangled Representations from Non-Disentangled Models},
author = {Valentin Khrulkov and Leyla Mirvakhabova and Ivan Oseledets and Artem Babenko},
journal= {arXiv preprint arXiv:2102.06204},
year = {2021}
}