pooneilの脳科学論文コメント

■ 自由エネルギー原理入門(6/7): 「Sec. 5. 現在、過去、未来を統一的に捉えるモデル」を追加

最新版のPDFファイルが最後のエントリ：「自由エネルギー原理入門(7/7): 「Sec.0 自由エネルギー原理を数式無しで説明する」を追加」にあります。このPDFファイルを最新版としますので、これから読む方にはPDFファイルでの閲覧をオススメします。

---

[5. 現在、過去、未来を統一的に捉えるモデル]

[5-1. Schwöbelらのアプローチ]

Friston et al 2017の期待自由エネルギー $G$ ってぜんぜん変分推定してないよね、ってのが前のサブセクションの総評だったわけだけど、じゃあちゃんと変分推定しようよってのが、Schwöbel et al 2018とParr and Friston 2018。ここではSchwöbel et al 2018の解説を行う。

[5-2. 生成モデル$p$ と推測 $q$ の設定]

Schwöbel et. al. Neural Comput. 2018では、現在、過去、未来を統一的に捉える生成モデルを考えている。現在、過去、未来を統一的に捉えるというのはどういうことかというと、時刻$1-T$ というある時間幅(これはなんらかの行動課題の1試行のようなひとかたまりの行動を想定している)のなかでagentがいま時刻$t$ にいるという状況を考える。このときの因果グラフが図5-1だ。

これまでと同様に、POMDP過程を前提としているので、直前の行動のみが外界の状態に影響を及ぼしうる。なによりも最大の違いは、行動 $a$ がパラメーターではなく潜在変数になっているという点だ。変分自由エネルギー $VFE$ を定義するために観測データと潜在変数をリストにしてみよう：

• 観測データ
  • 感覚入力(過去から現在まで) $\underline{s} = \{s_1,s_2,...,s_{t-1},s_{t}\}$
• 潜在変数
  • 外界の状態(過去から現在まで) $\underline{x} = \{x_1,x_2,...,x_{t-1},x_{t}\}$
  • 外界の状態(未来) $\tilde{x} = \{x_{t+1},...,x_{T-1},x_{T}\}$
  • 感覚入力(未来) $\tilde{s} = \{s_{t+1},...,s_{T-1},s_{T}\}$
  • 行動選択(過去) $\underline{a}=\{a_1,a_2,...,a_{t-1}\}$
  • 行動選択(現在から未来まで) $\tilde{a} =\{a_{t},...,a_{T-1},a_{T}\}$

よってこのときの生成モデル $p$ はこれまで同様、機械的に当てはめれば以下のように書ける。

$$\begin{eqnarray} &&p(\underline{x},\tilde{x},\underline{s},\tilde{s},\underline{a},\tilde{a}) \tag{5-1} \end{eqnarray}$$

また、これを推定する $q$ のほうは潜在変数だけが入る。$q$の形を決めるパラメーター $\phi$ はこれまでの議論からわかるように $x$ についての推定だけを決めればあとは生成モデルを使って計算してゆくので、今回の場合、$\phi_{\underline{x},\tilde{x}}$ となる。省略して $\tilde{\phi}$ と表示する。

$$\begin{eqnarray} &&q(\underline{x},\tilde{x},\tilde{s},\underline{a},\tilde{a}|\phi_{\underline{x},\tilde{x}})\\ &=&q(\underline{x},\tilde{x},\tilde{s},\underline{a},\tilde{a}|\tilde{\phi}) \tag{5-2} \end{eqnarray}$$

[5-3. 変分自由エネルギー $F$ の設定]

あとはこの二つから現在、過去、未来全ての期間をひとまとめにして推定をするための変分自由エネルギー $F$ が定義できる。$q$ が長いので $\tilde{q}$ で表記する。

$$\begin{eqnarray} F(\tilde{\phi}) &=& \mathbb{E}_{\tilde{q}} [\ln \tilde{q} - \ln p(\underline{x},\tilde{x},\underline{s},\tilde{s},\underline{a},\tilde{a})]\\ &=& \underbrace{D_{KL}(\tilde{q}\|p(\underline{x},\tilde{x},\tilde{s},\underline{a},\tilde{a}|\underline{s}))}_{\rm{KLD}(\tilde{\phi})} +\underbrace{-\ln p(\underline{s})}_{\rm{Surprisal}}\tag{5-3} \end{eqnarray}$$

長いけど、たんに観測値と隠れ値を分けてVFEの式に代入しているだけだから、式の定義は明確だ。あとこうして改めて式を見てみると、surprisalの中身は常に観測データであり、surprisalは $F$ を変えようがない定数であるということがわかる。(だから、暗い部屋問題など無いわけ。)

じつは式(5-3)は正確でない。Schwöbel et. al. 2018では生成モデルの方に前述の、未来の感覚入力についての事前分布(=preference) $\bar{p}(\tilde{s})$ が掛け算されている。私はどうにも納得いかないけど。ともあれ論文の中での$F$ の式は以下の通りになる。

$$\begin{eqnarray} F(\tilde{\phi}) &=& \mathbb{E}_{\tilde{q}} [\ln \tilde{q} - \ln p(\underline{x},\tilde{x},\underline{s},\tilde{s},\underline{a},\tilde{a})- \ln \bar{p}(\tilde{s})] \tag{5-4} \end{eqnarray}$$

この方法がFriston et al 2017での期待自由エネルギーと比べてなにが素敵かというと、VFEに期待値を掛けるとかそういうややこしいことを言わずに、ストレートにすべての潜在変数を推定するための変分下限としての変分自由エネルギー $VFE$ を計算できている点。もし$KLD=0$ になるように$q$ のパラメーター $\tilde{\phi}$ をアップデートすることができれば、$q$ はtrue posteriorを近似することができて、そのとき $F=Surprisal$ となる、これまでとまったく同じ。

このため、期待自由エネルギーのときにでてきたややこしい概念、counter-factualな観測データというものがここでは見えなくなっている。

[5-4. observed free energy $V$ とpredicted free energy $G$ への分解]

Schwöbel et. al. 2018ではさらにこの $F$ の式を[現在+過去]と[現在の行動計画および未来]とに分けている。彼らは前者をobserved free energy $V$、後者をpredicted free energy $G$ と呼んでいる(p.2539-2540)。

$$\begin{eqnarray} V(\tilde{\phi}) &=& \mathbb{E}_{q(\underline{x},\underline{a}|\tilde{\phi})} [\ln q(\underline{x},\underline{a}|\tilde{\phi}) - \ln p(\underline{x},\underline{s},\underline{a}))]\tag{5-5}\\ G(\tilde{\phi}) &=& \mathbb{E}_{q(\underline{x},\tilde{x},\tilde{s},\underline{a},\tilde{a}|\tilde{\phi})} [\ln q(\tilde{x},\tilde{s}|\underline{x},\underline{a},\tilde{a},\tilde{\phi}) - \ln p(\tilde{x},\tilde{s}|\underline{x},\underline{a},\tilde{a})]\\ &&- \mathbb{E}_{q(\tilde{s})} \ln \bar{p}(\tilde{s})\tag{5-6} \end{eqnarray}$$

式(5-4)からの変形でこれが導き出せるのだと思うのだけど、当の論文には何も説明がない。私もまだ確認できてない。ともあれこれによって、これまでの論文で出てきた変分自由エネルギーや期待自由エネルギーとの対応付けができるようになった。

Observed free energy $V$ はこの文書でも、4-2-1において「過去の行動を付加した生成モデル」に対応したVFEとして式(4-3)ですでに定式化している。

後者のpredicted free energy $G$ がこれまでの期待自由エネルギー $G$ に対応するこうになっている。だからこちらにはpreferenceの項を付け加えている。

[5-5. おまけ：このモデルの含意]

おまけです。FEP入門的にはおまけだけど、ここからがワタシ的には本筋。個人的にこのモデルが面白いなと思うのは、現在、過去、未来全ての期間をひとまとめにして取り扱うというのが、まさに変分原理的な視点であるという点だ。つまり、agentはいま時刻 $t$ に生死をかけあらゆる意思決定をなしているつもりなのだけれども、いったんそれを時間の外から(スピノザの言う「永遠の相」から)眺めてやれば、与えられた状況の中で$VFE$ を下げる方向に進むという変分原理に従って、agentの内部状態(推測$q$ の本体)が変動しているだけなのだ。(agent「が」内部状態を変動「させている」ではないことに注意。) あたかも光が屈折することで最短時間で進むルートを選んでいるかのように。

いっぽうで、このVFEの式をいったん過去と未来に分けてやると、とたんにcounter-factual predictionを考えないといけない内部の視点が出てくる。ここでは未来と過去は観測データの有無の違いという点で非対称性がある。このことについてこれまで使ってきた図を改変してイメージを膨らませてみよう(図5-2)。

図5-2Aでは時刻 $t$ における変分自由エネルギー$F$ の計算からすべての潜在変数が推定される。時刻 $t+1$ になると(図5-2B)、時刻 $t+1$ での感覚入力 $s(t+1)$ を獲得して観測データが一つ増えたことによって、変分自由エネルギー$F$ がアップデートされ、すべての潜在変数の推定もアップデートされる。これが外側から、「永遠の相」から見たときの描写だ。

いっぽうでagentから見れば、図5-2Aでは時刻 $t$ では未来の外界の状態 $x_{t+1}$ についてのcounter-factualな推定を持っている(counter-factualであることを $x_{t+1}'$ と表記しておく)。さらにagentは過去の外界の状態 $x_{t-1}$ についてのfactualな推定を持っている。この推定は現在の新しい感覚入力 $s_{t}$ によって時間を遡ってアップデートされること(post-diction)については3-3-3で言及した。

そして時刻 $t+1$ になると、未来の外界の状態 $x_{t+2}$ についてのcounter-factualな推定を持つようになり、かつてcounter-factualだった外界の状態についての推定 $q(x_{t+1}')$ はfactualな推定 $q(x_{t+1})$ となった。このようなcounter-factualな推定とfactualな推定の違いは時刻$t$ にいるagentにとってはそのつど行動$a$ を決める際に初めて重要になるが、変分原理的な視点からは見えなくなっている(ように思える)。

Friston 2018 (Frontiers in Psychology)における意識の議論でFristonは、agentが変分推定をしてゆく過程でのcounter-factualなpredictionおよび過去に向けてのpostdictionの時間幅が長く深い(temporal thickness or counterfactual depth)ものに意識が宿るのだという言い方をしている。

式(5-2)でも書いたように、現在の設定でagentが推測 $q$ をアップデートさせるために動かしているものの実体とは、$\phi_{\underline{x},\tilde{x}}$ つまり、過去から未来までの外界の状態 $x$ の推定 $q(x)$ だけだ。よってFristonの言うtemporal thicknessというのはどのくらい未来と過去について推測 $q(x)$ を持っているかということに言い換えることができる。推測$q$ の時間推移についてフッサールの内的時間意識のスキームに乗っけて表示してみよう(図5-3)。

図5-3Aがこれまでの説明で使っていたものだが、図5-3Bはtemporal thicknessがまったくない「今を生きる」生物だ。Fristonによれば後者は意識を持たないという話になる。しかし、大腸菌の遺伝子発現ですらも予測的な振る舞いをすることが知られていること(私のブログに言及あり)を考慮に入れると、図5-3Bのように極端な生物はいそうにない。しかし予測的な行動をすることと、counter-factual predictionをすることはイコールではない。そしてFEPがまだ充分に因果推論的な形式になっていないことを考えると、Counter-factual predictionを捉えるのにもっとうまい方法が必要になるんではないかと私は考えている。

以上でこの文書は終了です。ここまで読んでくれた方、ありがとうございます。

---

いちおう最後の項目までたどり着きましたが、まだあれこれ落ち穂拾いをする予定。ToDoとしては、Sec.0として「数式を使わない自由エネルギー原理の説明」を作って、Sec.2にじっさい予測誤差回路でどうやってFの最小化が可能かについての概要(Bogacz 2017の二項分布バージョン)を入れて、Sec.3の最後に行動の説明の簡略化バージョン(qの代わりにsを変えるとFが下がる)を入れて、それで終了の予定。