中文

面向低资源语族双语词典归纳的计划优化

计算与语言 2025-03-21 v1 人工智能 机器学习

摘要

创建双语词典是丰富低资源语言的首要关键步骤。尤其对于密切相近语言,已表明基于约束的方法可经由枢纽语言从两部双语词典归纳出双语词汇。然而,若没有可用的机器可读词典作为输入,我们需要考虑由双语母语者手工创建。为达成全面创建多部双语词典的目标,即便我们已拥有若干现有机器可读双语词典,仍难以确定基于约束方法的执行顺序以缩减总成本。计划优化在组合双语词典创建顺序时至关重要,需考虑方法与相应成本。我们利用马尔可夫决策过程(MDP)形式化创建双语词典的计划优化,目标是在完全实施基于约束的双语词典归纳之前,对总成本最低的最可行最优计划作出更准确估计。我们以语言相似度与拓扑多义性将双语词典归纳精确率的先验beta分布建模为α与β参数。它进一步被用于建模代价函数与状态转移概率。我们估计了所有投资计划的成本,作为评估所提基于MDP方法的基线,以总成本为评价指标。在首批实验中利用后验beta分布构建第二批实验的先验beta分布后,结果显示相比估计的所有投资计划成本降低61.5%,相比估计的MDP最优计划成本降低39.4%。基于MDP的提案在总成本上优于基线。

关键词

引用

@article{arxiv.2010.02396,
  title  = {Plan Optimization to Bilingual Dictionary Induction for Low-Resource Language Families},
  author = {Arbi Haza Nasution and Yohei Murakami and Toru Ishida},
  journal= {arXiv preprint arXiv:2010.02396},
  year   = {2025}
}

备注

29 pages, 16 figures, 9 tables, accepted for publication in ACM TALLIP