超越平方误差：探索增强生成式流网络训练的损失设计
机器学习
2024-10-04 v1 人工智能
摘要
生成式流网络（GFlowNets）是一类用于从未归一化分布中进行采样的新型生成模型，已在various重要任务中找到应用，吸引了广泛的研究兴趣。一般而言，GFlowNets通过拟合在训练对象上对正向流和逆向流进行训练来实现。先前的工作聚焦于训练对象的选择、参数化、抽样与重抽样策略以及逆向策略，以提升训练过程中信用分配、探索或开发。然而，回归损失的选择——这会高度影响底层策略的探索与开发行为——被忽视了。由于缺乏对如何选择合适回归损失的理论理解，大多数现有算法通过最小化 log 空间中正向流与逆向流之差的平方误差来训练流网络，即使用二次回归损失。本文严格证明，不同的回归损失对应特定的散度度量，使我们能够根据所需散度度量的属性来设计和分析回归损失。具体而言，我们检查了两个关键属性：零强制和零避免，其中前者促进开发和更高奖励，后者鼓励探索并增强多样性。基于我们的理论框架，我们提出了三个新的回归损失，即 Shift-Cosh、Linex(1/2) 和 Linex(1)。我们在三个基准上对其进行评估：hyper-grid、位序列生成和分子生成。我们提出的损失与大多数现有训练算法兼容，显著提高了算法在收敛速度、样本多样性和鲁棒性方面的性能。
引用
@article{arxiv.2410.02596,
title = {Beyond Squared Error: Exploring Loss Design for Enhanced Training of Generative Flow Networks},
author = {Rui Hu and Yifan Zhang and Zhuoran Li and Longbo Huang},
journal= {arXiv preprint arXiv:2410.02596},
year = {2024}
}