依赖门问题:无反馈序贯决策研究
人工智能
2017-04-21 v1
摘要
我们引入依赖门问题,作为必须执行一系列可能依赖的决策、且无法获得关于先前所做动作有效性的反馈信息的情况的抽象。非正式地,该问题考虑一组 扇初始关闭的门,目标是尽快将其全部打开。为打开一扇门,算法敲击它,它可能根据某概率分布打开或不打开。该分布可能依赖于当前哪些其他门是打开的,以及在该门此前每次敲击时哪些其他门是打开的。算法旨在最小化直到所有门打开的期望时间。关键在于,它必须随时行动而不知道其他门是否已打开或哪些已打开。本工作中,我们聚焦于门间依赖既正关联又无环的场景。门的基本分布描述了在最佳条件下(关于其他门开或关)其打开的概率。我们证明,若在两种 门配置中对应门共享相同基本分布,则这些配置具有相同或相差一个通用常数的最优运行时间,无论门间依赖和分布如何。我们还确定了最优至通用常数因子的算法。对于所有门共享相同基本分布的情况,我们额外提供了一种更简单的算法以及计算其运行时间的公式。我们进一步分析了由标准基本分布支配的若干配置中缺乏反馈的代价。特别地,我们展示对于无记忆门该代价关于 是对数的,但对于其他分布可能增长至关于 是线性的。随后我们将注意力转向研究精确界限。即使对于两扇门的情况,识别最优序列也是一个引人入胜的组合问题。在此,我们研究两扇级联无记忆门的情况。即,第一扇门每次敲击以概率 独立打开。第二扇门仅当第一扇门打开时才能打开,此时它每次敲击以概率 独立打开。我们通过确定最优至加性项 1 的算法几乎完全解决了该问题。
引用
@article{arxiv.1704.06096,
title = {The Dependent Doors Problem: An Investigation into Sequential Decisions without Feedback},
author = {Amos Korman and Yoav Rodeh},
journal= {arXiv preprint arXiv:1704.06096},
year = {2017}
}