关于利用多实例弱监督学习隐变量模型
机器学习
2024-07-16 v2 机器学习
摘要
我们考虑一种弱监督学习场景,其中监督信号由与多个输入实例相关联的标签的转移函数 生成。我们将此问题表述为\emph{多实例部分标签学习(multi-instance PLL)},它是标准 PLL 问题的扩展。该问题出现在不同领域中,包括隐结构学习和神经符号集成。尽管存在许多学习技术,但针对该问题的理论分析十分有限。在本文中,我们首次对可能具有未知转移 的多实例 PLL 进行了理论研究。我们的主要贡献如下。首先,我们给出了该问题可学习性的一个充要条件。由于允许转移是确定性的,该条件非平凡地推广并放宽了 PLL 文献中现有的小歧义度条件。其次,我们基于神经符号文献中广泛使用的 top- 替代损失推导了 Rademacher 风格的错误界。此外,我们以未知转移下的学习实证实验作为结束。实证结果与我们的理论发现一致;然而,它们也暴露了弱监督文献中的可扩展性问题。
引用
@article{arxiv.2306.13796,
title = {On Learning Latent Models with Multi-Instance Weak Supervision},
author = {Kaifu Wang and Efthymia Tsamoura and Dan Roth},
journal= {arXiv preprint arXiv:2306.13796},
year = {2024}
}