遷移と報酬のモデルが既知であると仮定してきたI巻につづき，II巻では，強化学習の主題であるモデルが不確実な問題や，状態の不確実性への拡張へと進む．さらに，マルチエージェントシステムを取り上げ，相互作用の不確実性を論じる．豊富な例と演習，Juliaによる実装．オールカラー．

Algorithms for Decision Makingを2分冊で全訳．不確実性下での意思決定のための，数理計画問題の定式化とそれを解くためのアルゴリズムを解説．I巻では，不確実性を確率分布として表現するための推論，行動の結果が不確実となる確率的環境における逐次的意思決定問題を解説．豊富な例と演習，Juliaによる実装．オールカラー．