决策学习内容时信息的价值
机器学习
2021-10-28 v1 信息论
math.IT
摘要
所有序贯决策智能体都通过探索来获取关于特定目标的知识。构建该目标通常是智能体设计者的责任，在丰富复杂的环境中，这构成了繁重的负担；若对环境本身缺乏完整认知，设计者可能锻造出次优的学习目标，其在智能体识别目标所需获取信息量与目标关联的性能缺口之间权衡不佳。近期工作建立了学习目标与率失真理论之间的联系以应对该挑战，并赋能能以自动化方式决策学习内容的智能体，但所提算法未能最优地解决同样重要的高效信息获取挑战。本工作中，基于信息导向采样（Russo & Van Roy, 2014）这一开创性设计原则，我们直接弥补该不足，将最优信息获取与学习目标的最优设计相耦合。在此过程中，我们从率失真理论文献出发对学习目标提供新见解，进而给出证实决策学习内容时信息价值的实证结果。
引用
@article{arxiv.2110.13973,
title = {The Value of Information When Deciding What to Learn},
author = {Dilip Arumugam and Benjamin Van Roy},
journal= {arXiv preprint arXiv:2110.13973},
year = {2021}
}
备注
Accepted to Neural Information Processing Systems (NeurIPS) 2021