分布的约束重加权：一种最优传输方法
机器学习
2024-01-17 v2 机器学习
摘要
我们经常会遇到这样的问题：在权重满足预定义约束的条件下，识别观测数据经验分布的最优权重调整版本。此类约束通常表现为对所得权重调整经验分布的矩、尾部行为、形状、众数个数等方面的限制。在本文中，我们通过引入对权重的非参数化分布约束，并发展一种利用最大熵原理与最优传输工具的通用框架，大幅增强了该方法论的灵活性。其核心思想是：在允许细微偏离的前提下，确保观测数据的最大熵权重调整经验分布与某一预先指定的概率分布在最优传输度量下接近。该框架的通用性通过三个迥异的应用场景得以展示，在这些场景中，为满足统计任务核心优化问题的侧面约束，需要对数据进行重加权：即投资组合配置、复杂调查中的半参数推断，以及确保机器学习算法的算法公平性。
引用
@article{arxiv.2310.12447,
title = {Constrained Reweighting of Distributions: an Optimal Transport Approach},
author = {Abhisek Chakraborty and Anirban Bhattacharya and Debdeep Pati},
journal= {arXiv preprint arXiv:2310.12447},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2303.10085