強化学習では、状態・行動・報酬という三種類のデータを観測 するモデルに対し、状態が与えられたときの累積報酬の期待値である価値関数を 最大化するように行動を決定する問題を扱う。いくつかの手法の中で最も研究さ れているのが時間的差分法である。 本発表では、独立同分布なデータに対して、目的関数を最小化するという意味で 最適なステップサイズを導出し、その収束を示す。さらに、ステップサイズが定 数である場合の収束条件を示す。また、マルコフ過程に従うデータに対して、ア ルゴリズムのステップサイズの収束条件について議論する。