pooneilの脳科学論文コメント

■ 自由エネルギー原理入門(4/7): Sec.4 生成モデルに行動を含める

最新版のPDFファイルが最後のエントリ：「自由エネルギー原理入門(7/7): 「Sec.0 自由エネルギー原理を数式無しで説明する」を追加」にあります。このPDFファイルを最新版としますので、これから読む方にはPDFファイルでの閲覧をオススメします。

---

[4. 生成モデルの中に行動 $a$ を含める]

[4-1-1. 生成モデルの中に行動 $a$ を含める]

さてここから生成モデルの中に行動 $a$ を含めることを考える。まずは図2-3で使った因果グラフを再掲する(図4-1A)。

これはいわばフルバージョンであるが、じっさいにNeural Comput. 2017でのFristonの期待自由エネルギーの式が前提としている生成モデルは図4-1Bのとおりだ。つまり、行動$a$ が外界の状態 $x$ のみに作用しており、感覚入力 $s$ への直接的な因果はない。一方で、ここまで用いていた蝶と蛾の例では、行動$a$ とは眼球運動だったので、目を動かしても世界は変わらず、視野だけが変わる。つまり、外界の状態 $x$ には作用せず、感覚入力 $s$ のみに対して直接的な因果がある(図4-1C)。(これはKatahira et al 2018での病気$x$ と検査法の選択 $a$ と検査結果$s$ においても同じ。)

[4-1-2. このセクションで用いる例: スイッチで照明をつけたら明るい]

そこでこのセクションでは、Neural Comput. 2017での生成モデル(図4-1B)に基づいた実例として、「スイッチで照明をつけたら明るい」というのを用いることにする(図4-2)。

行動$a$、外界の状態$x$、感覚入力$s$ はそれぞれ二つの可能な状態を持っている。$a$ から$x$、$x$ から$s$ の関係には不確定性があり、スイッチオンでも照明がオンにならないときもあれば、照明がオンでも暗いと感じるときもある。これらの関係は以下のサブセクションごとに生成モデルによって規定される。

それではこの例に沿って、expected free energy EFE, epistemic value, extrinsic valueの式の導出までやってしまうことにする。

蝶と蛾の例はサッケードのモデルとして重要なのでまたあとで戻ってくる予定。

---

[4-2. 行動あり、現在の状態 $x_{t}$ と過去の行動 $a_{t-1}$ の推定(1)]

[4-2-1. 生成モデル$p$ と推測 $q$ の設定]

ではまず図3-2の現在の知覚の生成モデルに過去の行動$a_{t-1}$ を付加することを考える。過去の行動$a_{t-1}$ を潜在変数として捉えるならば、生成モデルのグラフィカルモデルによる表現は以下の通りになる(図4-3A)。

このとき生成モデルは以下のように書くことができる。

$$p(x_{t},s_{t},a_{t-1}) = p(s_{t}|x_{t})p(x_{t}|a_{t-1})p(a_{t-1})\tag{4-1}$$

生成モデルは3つの因子に分解することができる(図4-3B)。$A$ は観察データを生成する「観察モデル」($p(s_{t}|x_{t})$)、$C$ は状態の推移を決める「遷移モデル」$p(x_{t}|a_{t-1})$、$D$ は行動$a$ の「事前分布」$p(a_{t-1})$、と呼ぶ。行動$a$ の「事前分布」とは、結果となる$x$ や$s$ に依存せずにどちらを選択するかのバイアスを表すから「preference」とも呼ぶ。この呼び方は後で出てくる。

$A$ と$C$ のそれぞれの値をみてもらうと、不確定性のあるシステムであることがわかる。スイッチがオンでも照明がつかない確率が20%あるし($p(x=2|a=1)=0.2$)、照明がオンでも暗く感じる確率が20%ある($p(s=2|x=1)=0.2$)。照明がオフでも明るく感じる確率は5%なので($p(s=1|x=2)=0.05$)、ここに非対称性が入ってる。

また、推測$q$ のほうは以下のように書く。直前の行動$a_{t-1}$ は隠れ値なので $x_{t}$ と同じく推定してやる必要がある。

$$q(x_{t},a_{t-1}|\phi_{x_{t},a_{t-1}})\tag{4-2}$$

式(3-8)と同様、$\phi_{x_{t}}$ と $\phi_{a_{t-1}}$ は独立して動かさずに、同時に推定するため、パラメーターとしては3変数あることになる。

[4-2-2. 変分自由エネルギー $F$ の設定]

この場合の観測データは $s_{t}$ 、潜在変数は $x_{t},a_{t-1}$ となるので、VFEの式は以下の通りになる。

$$\begin{eqnarray} F(\phi_{x_{t},a_{t-1}}) &=& \mathbb{E}_{\tilde{q}} [\ln \tilde{q} - \ln p(x_{t},s_{t},a_{t-1})]\\ &=& \underbrace{D_{KL}(q(x_{t},a_{t-1}|\phi_{x_{t},a_{t-1}})\|p(x_{t},a_{t-1}|s_{t}))}_{\rm{KLD}(\phi_{x_{t},a_{t-1}})} +\underbrace{-\ln p(s_{t})}_{\rm{Surprisal}}\tag{4-3} \end{eqnarray}$$

となる。Surprisalの中身は $s_{t}$ となっていて、図3-2の生成モデル(現在のみ、運動なし)と変わりないことがわかる。KL距離を計算するときに $x_{t},a_{t-1}$ の両方で総和をとるので、KL距離は $\phi_{x_{t},a_{t-1}}$ のみの関数となる。

(さてあとはposteriorを計算して、$F$ をプロットして、と行くところなのだが、ここでは省略する。)

ところで図4-3において過去の行動$a_{t-1}$ を潜在変数として捉えるのは妥当だったろうか？もし生成モデルが、行動$a_{t-1}$ が事前分布$p(a)$ から確率的に選ばれて、それの結果として外界の状態 $x_t$ と感覚入力 $s_t$ が引き起こされた、という場合なら合っている。しかし、expected free energyで想定されているのはそうではない。

---

[4-3. 行動あり、現在の状態 $x_{t}$ と過去の行動 $a_{t-1}$ の推定(2)]

[4-3-1. 生成モデル$p$ と推測 $q$ の設定]

図4-3の生成モデルはexpected free energyで用いられているものとは異なっている。Expected free energyにおいては、行動 $a_{t-1}$ はその時点での期待自由エネルギー $G_{t-1}$ を計算した結果として確定する。つまり、行動 $a_{t-1}$ は推定すべき潜在変数ではなくて、生成モデルの一部である事前分布 $C$ を特定するパラメーターと捉えるべきなのだ。(「パラメーターとして扱うこと」の意味については、Sec.2-4を見直してほしい。)

そこで図4-4Aで表示した因子グラフは、行動 $a_{t-1}$ を生成モデルのパラメーター(白四角)として表現している。

つまり生成モデルは以下のように書くことができる(図4-4B)。

$$p_{a_{t-1}}(x_{t},s_{t}) = p(s_{t}|x_{t})p_{a_{t-1}}(x_{t})\tag{4-4}$$

図4-2についての生成モデルの式(4-1)と比べて、生成モデルの変数に $a_{t-1}$ が入ってないことがわかる。その代わりに、$a_{t-1}$ がパラメーターであることを明示するために $p_{a_{t-1}}$ という表現をしている。

また、今回の生成モデルでは、$a_{t-1}=1,=2$ のそれぞれについてべつべつの生成モデルがある。つまり、事前分布 $C$ の部分を必要に応じて差し替える必要がある(図4-4B)。この点でも図4-3Bの生成モデルとは異なっている。あちらでは $C$ の部分に潜在変数 $a_{t-1}$ とその事前分布 $D$ が入力するので、ひとつの生成モデルの中で、$a_{t-1}=1,=2$ の両方を計算する必要がある。

生成モデル$p$ を特定するパラメーター(図4-4B)自体はさきほどの図4-3Bと同じものを用いているが、上記の違いによって、計算される$F$ などは異なってくる。

また、推測$q$ のほうは以下のように書く。

$$q(x_{t}|\phi_{x_{t}})\tag{4-5}$$

形式上は図3-2とまったく同じになった。あとは $\phi_{x_{t}}$ を0-1で動かして推定してやればよい。

[4-3-2. 変分自由エネルギー $F$ の設定]

この場合の観測データは $s_{t}$ 、潜在変数は $x_{t}$ となるので、VFEの式は以下の通りになる。

$$\begin{eqnarray} F(\phi_{x_{t}},a_{t-1}) &=& \mathbb{E}_{q(x_{t}|\phi_{x_{t}})} [\ln q(x_{t}|\phi_{x_{t}}) - \ln p_{a_{t-1}}(x_{t},s_{t})]\\ &=& \underbrace{D_{KL}(q(x_{t}|\phi_{x_{t}})\|p(x_{t}|s_{t}))}_{\rm{KLD}(\phi_{x_{t}})} +\underbrace{-\ln p(s_{t})}_{\rm{Surprisal}(a_{t-1})}\tag{4-6} \end{eqnarray}$$

となる。KLDの中身の $p(s_{t}|x_{t})$ は図4-3Bおよび式(4-4)からわかるように、$a_{t-1}$ には依存しない。

Surprisalの中身は $s_{t}$ となっていて、式(3-3)および式(4-3)とは変わりない。しかしこれを計算するためには、$p_{a_{t-1}}(s_{t})=\sum_{x_{t}}p_{a_{t-1}}(x_{t},s_{t})$ というように同時確率の周辺化が必要になるから $a_{t-1}=1,=2$ についてそれぞれ別に作る必要がある。よって、式(4-3)でのsurprisalとは違う結果になる。つまり、行動 $a_{t-1}$ を潜在変数として捉えるか、パラメーターとして捉えるかは、実際のVFEの計算自体に影響を及ぼす。

$F, Surprisal$にとって $a_{t-1}$ がパラメーターになっている、つまり別々の $a_{t-1}$ に対して別々の値が出てくることを示すために、それぞれの $()$ の中に表記している。こちらは生成モデル$p$ の中身の場合とは違って確率ではないので、この表現で正しい。

[4-3-3. 変分自由エネルギー $F$ の最小化]

Agentは $\phi_{x_{t}}$ を変えることによって $F(\phi_{x_{t}})$ を下げることができる。今の例では $\phi_{x_{t}}$ を0-1まで変化させることによって、すべての可能な$q(x_{t}|\phi_{x_{t}})$ を網羅できる。それではSec.3-2-3の図3-3と同じ要領で、スイッチと照明の例について、VFE, Surprisal, Bayesian surpriseをプロットしてみよう(図4-5,図4-6)。

まず図4-5が$a=1$、つまりスイッチオンにしたときのVFEの最小化。観測データとして$s=1$ (明るい)、$s=2$ (暗い)のそれぞれで$VFE$ を最小化している。どちらも $\phi_{x_t}$ の初期状態は事前分布 $p(x_t)$ で決まるから、$a=1$ では$0.8$ からスタートしている。

図4-5Aのときは、スイッチオンしたら明るかったわけで、照明がオンであるという推測は初期状態 0.8からより高くなって0.98になった。いっぽうで図4-5Bでは、スイッチオンしたのに暗かったわけで、照明がオンであるという推測は初期状態0.8から0.45へとかなり下がってる。その気持わかるなー。

図4-6が$a=2$、つまりスイッチオフにしたときのVFEの最小化。大まかには図4-5のときと左右ひっくり返した感じになっているが、生成モデルを確認してもらえばわかるように、完全に左右対称ではない。

以上をまとめてテーブルにすると以下の通りになる。

そういうわけで、やってることは図3-3とほとんど同じであることがわかる。でもこれが次のサブセクション4-4でexpected free energyを計算するときの題材になるので、この図に再訪することになる。

---

[4-4. 行動あり、未来の状態 $x_{t+1}$ と未来の感覚入力 $s_{t+1}$ の推定(1)]

[4-4-1. 生成モデル$p$ と推測 $q$ の設定]

ここまでくれば、現在の行動$a_{t}$ とその直後の外界の状態$x_{t+1}$ および感覚入力 $s_{t+1}$ についての生成モデルを作るときには、はどのようになるか想像がつくだろう。図4-4Aから、時間をずらしたものを作ってみた(図4-6A)。

これでいいかというと、ひとつ考慮しなければならないことがある。未来の感覚入力 $s_{t+1}$ は観測データでいいのだろうか？ $s_{t+1}$ はまだ観測されていないのだから。

でもここで考えてほしいのだけど、もし未来の感覚入力 $s_{t+1}$ が潜在変数だとしたらすべてが潜在変数になってしまう。観測データがないのだから、推定のしようがない。これじゃあ部分観測マルコフ決定過程POMDPではなくて、無観測マルコフ決定過程NOMDPだよ。エスパーか！

ここで二つの方法がありうる。一つは観測データとして現在および過去の感覚入力 $s_{t},s_{t-1},...$ を使うというものだ。これはのちほど紹介するSchwöbel et. al. 2018論文およびParr and Friston 2018論文でとった方法だ。もう一つがFriston et. al. 2017論文で使われたように未来の感覚入力 $s_{t+1}$ を観測データとして捉える、ただしcounter-factualな観測データとして捉える、というものだ。いまは後者について説明する。

概念整理のために図4-8のように考えてみる。潜在変数と観測データに加えて、factualかcounter-factualかという軸を考慮する。未来の感覚入力 $s_{t+1}$ はcounter-factualな観測データだ。よってこれまでに出てきたものと扱いが異なる。いっぽうで、未来の外界の状態 $x_{t+1}$ のほうはcounter-factualな潜在変数だが、潜在変数についてはfactualだろうがcounter-factualだろうが推定するだけなので、扱いを変える必要がない。

それではあらためて、図4-7Aの因子グラフについて生成モデルを作ってみると以下のようになる(図4-7B)。

$$p_{a_{t}}(x_{t+1},s_{t+1}) = p(s_{t+1}|x_{t+1})p_{a_{t}}(x_{t+1})\tag{4-7}$$

さきほども書いたように、$a_{t}$ は事前分布 $C$ の形を決めるパラメーターだ。よって $C$ はcounter-factualな行動選択 $a_{t}$ ごとに、$p_{a_{t}=1}(x_{t+1})$ と $p_{a_{t}=2}(x_{t+1})$ と別々に定義する。観察モデル $A$ のほうは $a_{t}$ に依存しない。

また、推測$q$ のほうは以下のように書く。潜在変数は $x_{t+1}$ ひとつだけだから、形式的には図3-2の現在の外界の状態を推定するのと同じ形になる。

$$q(x_{t+1}|\phi_{x_{t+1}})\tag{4-8}$$

[4-4-2. 変分自由エネルギー $F$ の設定]

この場合の観測データは $s_{t+1}$ 、潜在変数は $x_{t+1}$ となるので、VFEの式は以下の通りになる。

$$\begin{eqnarray} F(\phi_{x_{t+1}},a_{t}) &=& \mathbb{E}_{q(x_{t+1}|\phi_{x_{t+1}})} [\ln q(x_{t+1}|\phi_{x_{t+1}}) - \ln p_{a_{t}}(x_{t+1},s_{t+1})]\\ &=& \underbrace{D_{KL}(q(x_{t+1}|\phi_{x_{t+1}})\|p(x_{t+1}|s_{t+1})}_{\rm{KLD}(\phi_{x_{t+1}})} +\underbrace{-\ln p_{a_{t}}(s_{t})}_{\rm{Surprisal}(a_{t})}\tag{4-9} \end{eqnarray}$$

式(4-6)と同様に、KLDの中身は $a_{t}$ に依存しなくて、surprisalの中身は $a_{t}$ に依存する。

ここまでは図3-2の現在の外界の状態を推定するのと同じ形だが、これでは終わらない。なぜならこの式に入っている $s_{t+1}$ はcounter-factualな観測データなので、実際には一つには決まってないからだ。そこでこのようにして定義された $F(\phi_{x_{t}},a_{x_{t}})$ をさらに $s_{t+1}$ ごとの期待値で足し合わせてやる必要がある。これが期待自由エネルギーEFE $G$ だ。仮にこの期待値を $??$ で表しておくと、

$$\begin{eqnarray} G(\phi_{x_{t+1}},a_{t}) &=& \mathbb{E}_{??} F(\phi_{x_{t+1}},a_{t})\\ &=& \mathbb{E}_{??}\mathbb{E}_{q(x_{t+1}|\phi_{x_{t+1}})} [\ln q(x_{t+1}|\phi_{x_{t+1}}) - \ln p_{a_{t}}(x_{t+1},s_{t+1})]\\ &=& \mathbb{E}_{?? \ast q(x_{t+1}|\phi_{x_{t+1}})} [\ln q(x_{t+1}|\phi_{x_{t+1}}) - \ln p_{a_{t}}(x_{t+1},s_{t+1})]\\ &=& \mathbb{E}_{q(x_{t+1},s_{t+1}|\phi_{x_{t+1}})} [\ln q(x_{t+1}|\phi_{x_{t+1}}) - \ln p_{a_{t}}(x_{t+1},s_{t+1})]\tag{4-10} \end{eqnarray}$$

4行目にあるように、最終的には $[]$ の中身について $x_{t+1},s_{t+1}$ の両方で期待値をとることになる。(なお、2行目から3行目のところでは、$\mathbb{E}_{A\ast B} = \mathbb{E}_{A}\ast \mathbb{E}_{B}$ を使ってる。)

この式(4-10)がNeural Comput. 2017のp.10で定義されているFristonの期待自由エネルギーの式だ。(表記に関しては、この文書の表記法を用いているが。)

[4-4-2’. 期待値の重みについて詳しく]

では実際にこの期待値 $q(x_{t+1},s_{t+1}|\phi_{x_{t+1}})$ の部分を計算するにはどうすればよいか。とくに、$??$ は実際のところなにか？ Neural Comput. 2017のp.10によれば、このように書いてある。(表記は現在の文書に合わせてる。)

$$\begin{eqnarray} q(x_{t+1},s_{t+1}|\phi_{x_{t+1}}) &=&q(s_{t+1}|x_{t+1},\phi_{x_{t+1}})q(x_{t+1}|\phi_{x_{t+1}})\\ &=&p(s_{t+1}|x_{t+1})q(x_{t+1}|\phi_{x_{t+1}})\tag{4-11} \end{eqnarray}$$

そういうわけで、まず未来の外界の状態 $x_{t+1}$ の推定 $q(x_{t+1}|\phi_{t+1})$ をしておいて、それに生成モデルのうち観察モデルの部分 $p(s_{t+1}|x_{t+1})$ を掛け算してやって $s$ についての推定を作っている。

よって実際の計算では、期待値として掛けるべきものは $p(s_{t+1}|x_{t+1})$ であるとわかった。式(4-10)の $??$ 部分を加えて書き直すと、以下が期待自由エネルギー $EFE=G$ の式となる。

$$\begin{eqnarray} G(\phi_{x_{t+1}},a_{t}) &=& \mathbb{E}_{p(s_{t+1}|x_{t+1})} F(\phi_{x_{t+1}},a_{t})\\ &=& \mathbb{E}_{p(s_{t+1}|x_{t+1})}[\mathbb{E}_{q(x_{t+1}|\phi_{x_{t+1}})} [\ln q(x_{t+1}|\phi_{x_{t+1}}) - \ln p_{a_{t}}(x_{t+1},s_{t+1})]]\\ &=& \mathbb{E}_{q(x_{t+1},s_{t+1}|\phi_{x_{t+1}})} [\ln q(x_{t+1}|\phi_{x_{t+1}}) - \ln p_{a_{t}}(x_{t+1},s_{t+1})] \tag{4-12} \end{eqnarray}$$

じつはここでFriston et al 2018ではさらにもう一段階近似を行っている。

$$\begin{eqnarray} q(x_{t+1},s_{t+1}|\phi_{x_{t+1}}) &=&q(s_{t+1}|x_{t+1},\phi_{x_{t+1}})q(x_{t+1}|\phi_{x_{t+1}})\\ &=&p(s_{t+1}|x_{t+1})q(x_{t+1}|\phi_{x_{t+1}})\\ &\approx&p_{a_{t}}(x_{t+1},s_{t+1}|s_{t})\tag{4-11'} \end{eqnarray}$$

また、Friston et. al. Cognitive Neuroscience 2015のp.192では以下の通りに書かれている。

$$\begin{eqnarray} q(x_{t+1},s_{t+1})&=&\mathbb{E}_{q(x_{t})}[p_{a_{t}}(x_{t+1},s_{t+1}|x_{t})]\tag{4-11''} \end{eqnarray}$$

これらは何を意味しているかというと、式(4-11)の $q(x_{t+1}|\phi_{t+1})$ の部分さえも現在の観測データ $s_{t}$ から作っているということだ。現在の生成モデルおよび照明の例では過去のことは考えていない。ここでは話を簡単にするために、$q(x_{t})=p(x)$ に加えて、遷移モデル $p(x_{t+1}|x_{t})=\begin{bmatrix} 1 & 0\\0 & 1\end{bmatrix}$ を仮定する。これで $q(x_{t+1})=q(x_{t})=p(x)$ として計算することにする。これはFriston et al 2018やKatahira et al 2018で採用されている方法。

ただしこの文書の方針は、「単純な例は用いるが近似はなるたけ用いない」というものだった。以下の照明の例では、$q(x_{t+1})=p(x)$ の近似を使わずに $q(x_{t+1}|\phi_{t+1})$ は $\phi_{t+1}$ によって動かした計算も行う。じっさいやってみてわかったのだが、$\phi_{t+1}$ を動かすと、$G(a_{t})$ を$a_{t}$ ごとに最小化することができる。