关于小批量传输：一种分层方法
机器学习
2022-06-08 v5 机器学习
摘要
小批量最优传输（m-OT）已成功用于涉及具有极多支撑的概率测度的实际应用。m-OT求解若干较小的的最优传输问题，然后返回其代价与传输方案的平均值。尽管具有可扩展性优势，m-OT未考虑小批量间的关系，导致不良的估计。此外，m-OT不近似概率测度间的恰当度量，因其不满足恒等性。为解决这些问题，我们提出一种新颖的小批量最优传输方案，称为分批小批量最优传输（BoMb-OT），其寻找小批量间的最优耦合，且可视为概率测度空间上良定义距离的近似。进一步，我们证明m-OT是BoMb-OT的熵正则化版本在正则化参数趋于无穷时的极限。最后，我们在深度生成模型、深度域适应、近似贝叶斯计算、颜色迁移与梯度流等多种应用上开展实验，表明BoMb-OT可广泛应用且在各类应用中表现良好。
引用
@article{arxiv.2102.05912,
title = {On Transportation of Mini-batches: A Hierarchical Approach},
author = {Khai Nguyen and Dang Nguyen and Quoc Nguyen and Tung Pham and Hung Bui and Dinh Phung and Trung Le and Nhat Ho},
journal= {arXiv preprint arXiv:2102.05912},
year = {2022}
}
备注
Accepted to ICML 2022, 34 pages, 16 figures, 9 tables