面向结构预测的隐式能量模型训练
机器学习
2022-11-22 v1 人工智能
摘要
大多数深度学习研究集中于开发新模型与训练流程，而训练目标通常局限于标准损失的组合。当目标与评估指标高度一致时，这并非大问题；然而在处理复杂结构化输出时，理想目标可能难以优化，且常用目标作为真实目标代理的有效性也值得怀疑。本文指出，现有基于推断网络的结构预测方法（Tu and Gimpel 2018; Tu, Pang, and Gimpel 2020）间接学习优化由能量模型参数化的动态损失目标。我们进而探索利用基于隐式梯度（implicit-gradient）的技术学习相应的动态目标。实验表明，隐式学习动态损失曲面是提升结构预测模型性能的有效方法。
引用
@article{arxiv.2211.11649,
title = {Implicit Training of Energy Model for Structure Prediction},
author = {Shiv Shankar and Vihari Piratla},
journal= {arXiv preprint arXiv:2211.11649},
year = {2022}
}
备注
AAAI