マルコフ過程に従い状態遷移が行われ、状態に応じた報酬が支 払われるモデルにおいて、その報酬の累積和の期待値、価値関数を推定する問題 を考える。線形関数近似を用いたTD法において、真の価値関数が特徴量の線形結 合で表されない場合であっても収束することは知られているが、特徴量の選択に よって性能に大きな差が出てしまう。そこで、得られた極限を真の価値関数へ補 正するように特徴量を構成することによって、真の価値関数に収束するアルゴリ ズムを提案し、その効率を上げる手法について説明する。