面向数学应用题的异质线图 Transformer

本文描述了一个用于在线学习系统的新型机器学习模型的设计与实现。我们旨在通过实现自动化数学应用题求解器来提升系统的智能化水平，该求解器可支持作业批改、难度估计和优先级推荐等广泛功能。我们原本计划采用现有模型，但意识到它们将数学应用题作为词元的序列或同构图来处理，忽略了实体、单位、比率和数字等多类词元之间的关系。我们决定设计并实现一种新颖模型，利用此类关系数据来弥合人类可读语言与机器可理解逻辑形式之间的信息鸿沟。我们提出一种异质线图 Transformer（HLGT）模型，该模型通过语义角色标注在数学应用题中构建异质线图，进而执行感知边类型的节点表示学习。我们加入数值比较作为辅助任务以改进面向实际使用的模型训练。实验结果表明，所提模型取得了优于现有模型的性能，同时也表明其仍远低于人类水平。在线学习系统的改进仍需持续的信息利用与知识发现。