强化元主动学习

在基于流的主动学习中，学习过程通常可访问一个未标记数据实例流，且必须对每个实例决定是否标注并用于训练或丢弃。众多主动学习策略试图通过识别并保留信息最丰富的数据样本，来最小化此设定下训练所需的标注样本数。这类方案多为基于规则且依赖不确定性概念，即捕捉数据样本距分类器决策边界的距离之小。近来已有一些直接从数据学习最优选择策略的尝试，但其中许多仍因若干原因缺乏通用性：1）聚焦于特定分类设定，2）依赖基于规则的度量，3）需要对主动学习器在相关任务上离线预训练。本工作中我们针对上述局限，提出一种在线的基于流的元主动学习方法，其从数据即时学习信息量度量，且适用于一般类别的分类问题，无需主动学习器在相关任务上预训练。该方法基于强化学习，结合情景策略搜索与上下文赌博机方法，用于在训练模型的同时训练主动学习器。我们在多个真实数据集上证明，该方法比现有最先进方法更有效地学习选择训练样本。