机器教学的黑盒泛化

假设剪枝最大化主动学习的假设更新以寻找那些所需的未标记数据。一个固有假设是这种学习方式能将这些更新推导至最优假设。然而，若那些增量更新为负且无序，其收敛可能无法得到良好保证。在本文中，我们引入一个黑盒教学假设 $h^\mathcal{T}$，采用更紧的松弛项 $\left(1+\mathcal{F}^{\mathcal{T}}(\widehat{h}_t)\right)\Delta_t$ 来替代典型的 $2\Delta_t$ 以进行剪枝。理论上，我们证明在该教学假设指导下，学习者能收敛到比那些未接受任何教师指导的非受教学习者更紧的泛化误差与标签复杂度界：1）泛化误差上界可从 $R(h^*)+4\Delta_{T-1}$ 降至约 $R(h^{\mathcal{T}})+2\Delta_{T-1}$；2）标签复杂度上界可从 $4 \theta\left(TR(h^{*})+2O(\sqrt{T})\right)$ 降至约 $2\theta\left(2TR(h^{\mathcal{T}})+3 O(\sqrt{T})\right)$。为严格符合我们的假设，当 $h^\mathcal{T}$ 松散逼近 $h^*$ 时首次提出教学的自改进。相对于学习，我们进一步考虑两种教学场景：教白盒学习者和黑盒学习者。实验验证了该想法，并显示出比基础主动学习策略（如 IWAL、IWAL-D 等）更好的泛化性能。