输出约束学习算法的统一形式化分析
机器学习
2024-08-22 v2 人工智能
摘要
神经网络(NN)在多种任务中表现良好，但有时会产生对人类而言无意义的结果。大多数NN模型仅从(输入,输出)对中学习，偶尔与人类知识冲突。许多研究表明，在训练过程中通过减少输出约束来注入人类知识可以提高模型性能并减少约束违反。尽管已有一些尝试在相同编程框架下比较不同的现有算法，但此前尚无工作以统一方式对带有输出约束的学习算法进行分类。我们的贡献如下：(1) 我们根据三个轴对先前研究进行了分类：使用的约束损失类型（例如概率软逻辑、REINFORCE）、违反约束示例的探索策略，以及来自主任务和约束的学习信号的集成机制。(2) 我们受持续学习算法启发，提出了集成主任务和约束注入信息的新算法。(3) 此外，我们提出了Hβ分数作为同时考虑主任务指标和约束违反的度量。为了进行彻底分析，我们在三个NLP任务上检验了所有算法：自然语言推理(NLI)、合成转导示例(STE)和语义角色标注(SRL)。我们探索并揭示了与实现高Hβ分数相关的各种算法的关键因素。
引用
@article{arxiv.2406.01647,
title = {An Analysis under a Unified Fomulation of Learning Algorithms with Output Constraints},
author = {Mooho Song and Jay-Yoon Lee},
journal= {arXiv preprint arXiv:2406.01647},
year = {2024}
}