加速动态重要性加权：多样化散度最小化估计器
机器学习
2026-05-26 v1
摘要
重要性加权（IW）是联合分布迁移问题的黄金求解器，训练数据与测试数据的联合分布存在差异。IW 通过估计测试相对于训练的密度比作为重要权重，并据此重新加权训练损失来解决此问题。最新的动态IW（DIW）将权重估计集成到模型训练中，实现了针对深度模型的可扩展IW，并在大型现代数据集上取得优异性能。尽管其前景广阔，DIW仍受限于两个方面：其计算开销大，在每个小批量中求解由核均值匹配（KMM）诱导的优化问题至收敛；其仅依赖KMM进行权重估计，而IW文献中基于不同散度测度的估计方法众多。本文提出加速DIW（ADIW），一个统一且高效的深度学习下联合分布迁移的IW框架。ADIW 执行少量轻量投射梯度下降更新， warm-start 于先前更新的权重，显著提升效率。此外，ADIW 将DIW generalizations 到统一的散度最小化框架，支持多样化权重估计方法以插即用方式集成，包括基于Kullback-Leibler散度、平方距离和Wasserstein-1距离的方法。我们在温和条件下建立了ADIW 的收敛保证，实证结果表明ADIW 在保持显著更高效率的同时实现了状态最前沿的IW性能。
引用
@article{arxiv.2605.25499,
title = {Accelerated Dynamic Importance Weighting with Versatile Divergence-Minimizing Estimators},
author = {Tongtong Fang and Nan Lu and Gang Niu and Kenji Fukumizu and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2605.25499},
year = {2026}
}