f:id:shirakonotempura:20190131003939p:plain

今回は、前２回で整理した状態価値関数 $V^\pi(s)$ と同じ価値関数である行動価値関数（Action Value Function）について整理していきます．

以下を参考にしています．以下の記事はかなり丁寧に書かれていますが、だいぶはしょっていきます． qiita.com

行動価値関数と状態価値関数

状態価値関数 $V^\pi(s)$ は、状態 $s$ が持つ価値を表していました．

各状態の価値が分かれば、その状態を選ぶ行動がベストな行動なわけなのですが、 $V^\pi(s)$ は、変数に行動 $a$ を持っておらず、直接取るべき行動が示されているわけではありません．

一方、今回勉強する行動価値関数は、状態 $s$ での行動 $a$ を評価する関数であり、ある状態 $s$ が与えられたとき、どの行動が最適な行動なのか、ということを知ることができます．

定義：

以下に、２つの価値関数の定義を示します．

状態価値関数 $V^\pi(s)$ ：状態 $s$ にあるときに、方策 $\pi$ に従ったときの価値

行動価値関数 $Q^\pi(s, a)$ ：状態 $s$ において、行動 $a$ を取った後、方策 $\pi$ に従ったときの価値

行動価値関数の行動 $a$ は方策 $\pi$ に従ったものではありません．つまり、状態 $s$ における最初の行動は方策に従わずに決めます．

行動価値関数の定式化

$Q^\pi(s, a)$ を定式化していきます．導出にあたり設ける仮定を以下に示します．

方策 $\pi$ が決まっている
現在の時刻 $t$ では、方策 $\pi$ に従わず、行動 $a$ を取り時刻 $t+1$ で状態 $s'$ に遷移する
時刻 $t+1$ 後の行動は、方策 $\pi$ に従って行動する

ダイアグラムを以下に示します． f:id:shirakonotempura:20190130094415p:plain

時刻 $t$ における状態価値関数 $V^\pi(s)$ については、今は無視します．状態 $s$ 、時刻 $t$ でとった行動 $a$ に対する行動価値関数 $Q^\pi(s, a)$ を起点に考えます．

行動 $a$ を選択した後、遷移確率 $P^a_{ss'}$ によって確率的に遷移します（図中青で示した分岐）．その遷移後の状態価値が $V^\pi(s')$ です．

図中では、その後さらにポリシー $\pi$ で分岐、遷移確率 $P$ での分岐と枝分かれが続いていますが、行動価値関数 $Q^\pi(s, a)$ の数式にその先を考える必要はありません．状態価値が $V^\pi(s')$ に枝分かれ以降で得られる報酬の総和（収益）になっているからです．以下に状態価値 $V^\pi(s')$ を使った行動価値関数 $Q^\pi(s, a)$ の計算式を示します．

$$Q^\pi(s,a) = \sum{s'} P^a_{ss'}[R^a_{ss'} + \gamma V^\pi(s')] \qquad \cdots \qquad (2)$$

$R^a_{ss'}$ は、状態 $s$ で行動 $a$ をとり、次の状態 $s'$ に遷移したときの報酬を示します．

状態価値関数から見た行動価値関数

先ほど、『今は無視します』とした現時刻における状態価値 $V^\pi(s)$ を起点にみた場合の、行動価値関数との関係を考えてみます．以下にダイアグラムを示します．

f:id:shirakonotempura:20190131000309p:plain

状態価値関数 $V^\pi(s)$ から、方策 $\pi(s,a$ に従って行動が選択されていますので、以下のような式で表すことができます．

$$V^\pi(s) = \sum_{a} \pi(s,a) Q^\pi(s,a) \qquad \cdots \qquad (3)$$

1ステップ先の行動価値関数

次に、行動価値関数同士（現在と次のSTEP）の関係を考えてみます．これは、上で説明した式(2)を式(3)に代入すれば表すことができます．

$$Q^\pi(s,a) = \sum_{s'}P_{ss'}^a[R_{ss'}^a + \gamma\sum_{a}\pi(s',a')Q^{\pi}(s',a')] \qquad \cdots \qquad (4)$$

上式の関係は以下のダイアグラムのようになります． f:id:shirakonotempura:20190131002232p:plain

式のまとめ

行動価値関数と前回導出した状態価値関数の数式を以下にまとめます．

状態価値関数（前回求めたもの）

$$V^\pi(s) = \sum_a\pi(s,a)\sum_{s'}P_{ss'}^a[R_{ss'}^a + \gamma V^{\pi}(s')]　\quad \cdots \qquad (1)$$