基于逐步编码贝叶斯流网络的参数空间表示学习：ParamReL
机器学习
2024-06-06 v3
摘要
最近提出的贝叶斯流网络（BFNs）在建模参数空间方面显示出巨大的潜力，提供了一种统一的处理连续、离散和离散数据的数据策略。然而，BFNs无法从参数空间中学习高层语义表示，因为常规编码器将数据编码为单个静态表示，无法捕捉参数中的语义变化。这激发了一种新方向：学习参数空间中隐藏的语义表示，以刻画混合类型的噪声数据。据此，我们提出一种名为ParamReL的表示学习框架，该框架在参数空间中运行，以获得表现出渐进结构的参数级潜在语义。具体而言，ParamReL提出一种自编码器，直接从参数中学习潜在语义，而非从观察数据中学习。该编码器被集成到BFNs中，实现了各种格式观察数据的表示学习。互信息项进一步促进潜在语义的解耦，同时捕获有意义的语义。我们通过扩展BFNs来说明ParamReL中的条件生成和重构。大量定量实验结果表明，ParamReL在学习参数表示方面具有卓越的有效性。
引用
@article{arxiv.2405.15268,
title = {ParamReL: Learning Parameter Space Representation via Progressively Encoding Bayesian Flow Networks},
author = {Zhangkai Wu and Xuhui Fan and Jin Li and Zhilin Zhao and Hui Chen and Longbing Cao},
journal= {arXiv preprint arXiv:2405.15268},
year = {2024}
}