pooneilの脳科学論文コメント

■ 今年の生理研研究会は脳の自由エネルギー原理がテーマです

今年の生理研研究会は「認知神経科学の先端 脳の理論から身体・世界へ」と題して、自由エネルギー原理(Free-energy principle, FEP)をテーマに9/2に開催します。これに先立つ8/31-9/1には「脳の自由エネルギー原理チュートリアル・ワークショップ」というタイトルでFEP入門のためのレクチャーとハンズオンをやります。講師はサセックス大のChris Buckleyさん。Google ColabでPythonスクリプトいじってもらう予定です。

どちらも生理研で行いますが、別々のイベントですので、別々に申し込みが必要です。

9/2の生理研研究会の方は例年と同様の講演方式です。公募講演枠を一つ設けました。実はFEP(もしくは類似の変分ベイズ的モデルや予測符号化)を使ってる、やってるって方はぜひ応募してください。

それから8/31-9/1の「脳の自由エネルギー原理チュートリアル・ワークショップ」のほうは講師+チューターで運営していきますので人数制限があります。いまのところ20人くらいを予定してます。連休明けに参加登録開始の予定。Stay tuned!

生理研研究会の方はFEPをテーマの前面に持ってくるという意味で画期的なものかと思います。神経科学(知覚、運動、学習)、情報科学や認知心理学(AI, Alife, 強化学習、内発的動機づけ、curiosity)、精神医学(統合失調症やASD)、哲学(意識、身体性、存在感)などいろんなとっかかりがありえます。

それに加えて8/31-9/1の「脳の自由エネルギー原理チュートリアル・ワークショップ」が画期的なのは、プログラムをいじってもらうことで数式とモデルを理解して活用できることを目指している点です。私もそうでしたが、FEPに興味を持つとまずフリストンの論文やyoutubeの講演など聞いてみるわけですが、フリストンの衒学趣味と物理帝国主義と数式表示の揺らぎと省略でぜんぜん理解できなくてがっかりするわけです。わたし2012年のUCLでのコースに参加してるんですが、正直がっかりでした。

状況が変わってきたのはここ最近のことで、2017年に今回の講師であるChris BuckleyさんによるFEPについての詳細なチュートリアル論文"The free energy principle for action and perception: A mathematical review"がarXivにアップロードされました。(現在はJournal of Mathematical Psychologyに出版されてます。購読している機関からはこちらのPDFのほうが読みやすい。) この論文にはmatlabのスクリプトもついていて、シンプルな形でのactive inferenceまで(generalized coordinateも使うという意味で)省略なく説明した論文です。これにはたいへん助けられました。

さらにRafal BogaczによるFEPのチュートリアル論文"A tutorial on the free-energy framework for modelling perception and learning"が2017年にJournal of Mathematical Psychologyに出版されました。機関での購読がない方もPMCからフリーでフルテキストが入手可能です。) https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5341759/… が出ました。これが神。Chris Buckleyさんの論文よりもさらに初歩的なところから、まずベイズ推定とは何か、事後分布を直接計算する方法、点推定、Fの計算、ニューラルネットでの計算、と順を追って説明してくれてます。こちらもmatlabスクリプトあり。

そういうわけで、いまからFEPを学ぼうという(情報科学以外の)人は、Bogacz 2017 からスタートして、Buckley et al 2017、の順番で行くべき。情報科学の人は変分ベイズやVAEがわかっていればそこからの類推で行けると思います。

あと、私自身のスライド「自由エネルギー原理と視覚的意識」の前半部分(p.12-71)も役に立つと思うのでぜひご利用ください。元ネタの一つがBogacz 2017です。ただし、このスライドでの説明は自由エネルギーFを下げていく過程を外から見ているだけで、どうやってFを下げているのかは一切説明してないのでご注意を。(情報理論的な式を用いてFを下がってゆく過程を見るのと、神経回路での予測符号化によってFを下げていく過程のうち、後者を混ぜないことによって、専門家でない人に向けた最小限の説明をすることを目指してます。)

そういうわけで、今回の8/31-9/1のチュートリアルでは、1) Bogacz 2017で説明されたような、最小限のベイズ推定をする回路モデルについてのレクチャーとハンズオンを行った後で、Friston et. al. Cogn Neurosci. 2015以降の論文で採用された離散時間でのFEPおよびactive inferenceのモデルについてのレクチャーとハンズオンを行う、という構想をいまChris Buckleyさんと相談しているところです。そういうわけでぜひ来てください！

---

あとは関連してtwitter上でつぶやいたことをまとめておきます。

いま「Friston et. al. 2015以降」と書きましたのですこし補足しておきましょう。自由エネルギー原理FEPはUCLのKarl Fristonが提案している知覚と行動と学習の統一原理ですが、2005年のPhilos Trans R Soc Lond B Biol Sci. 2005から始まって、現在まで理論的にも進歩を続けています。ざっくりとこれを分類するならば、ARAYA金井良太さんの表現を用いればver.1,2,3と分けることができます。

Ver.1は変分自由エネルギーによって知覚だけでなく行動(active inference)まで包括的に説明するようになったBiological Cybernetics 2010が知覚と行動と学習の統一原理としての、ひとまずの完成を見たものと捉えることができるでしょう。

Ver.2は行動選択の際にまだ実現していない行動とそれが世界及び感覚入力に与える結果を予想した上でその自由エネルギーを下げる(counterfactual)ことを考えたFront Psychol. 2012であると考えることができます。つまり、この時点でFEPは現在だけを考えるのではなく、未来へと時間幅を持つようになったのです。しかしこの時点では、知覚と行動の関係がまだ充分明確になっていませんでした。

Ver.3では、知覚については現在の変分自由エネルギー(Variational free energy VFE)、行動については現在の行動選択が未来の知覚にどのように影響を与えるかを考慮した期待自由エネルギー(expected free energy EFE)というように分けて扱われるようになりました。また、連続的な時間でgeneralized coordinateというものを使った定式化から、離散的な時間での定式化が加わったことによって、より理解しやすいものになりました。また、比較的わかりやすいです。また、離散的な時間での定式化は部分観測マルコフ決定過程を仮定しているため、強化学習の理論との関連もつけやすくなってきました。

そういうわけでチュートリアルにおいてはこのver.3についてのレクチャーとハンズオンまでやっておきたいというわけです。ちなみに日本語の資料として、このver.3に基づいて全脳アーキテクチャ・ハッカソンでVAEを使って実装した例があります。“Free EnergyによるAttention Control” こちらは日本語での貴重な資料かと思います。

ともあれまだ構想中で、内容は未確定ですのでその旨ご理解ください。そういうわけで、参加希望の方が何を望んでいるか知りたいです。私は神経科学や計算論的精神医学からの興味で考えているけれど、情報科学の方はもっと違う興味があると思います。ぜひ吉田までご意見お寄せください。

---

いまexpected free energyについての(自分なりの)入門用文書を作成しているんだけど、そうすると部分観測マルコフ決定過程POMDPについて知る必要があって、さらにそもそも強化学習についてちゃんと知っておく必要が出てきた。そういうわけで「これからの強化学習」の第1章読んでます。

ちなみにSutton and Bartoの"Reinforcement Learning: An Introduction"の第2版が著者のサイトからPDFでダウンロードできるようになっているので、ざっと調べてみたら、17章に最近の話題の一つとしてPOMDPに言及してる(p.464-468)。

---

Chris Buckleyさんには9/2の研究会での講演、8/31-9/1でのレクチャーと大活躍していただきます。彼のWebサイトの記載を見ていたければ、彼もFEPとエナクティヴィズムを繋げようとしていることがわかるかと思います。そういうわけで北大サマーインスティチュートの方もよろしく。

The central theoretical component will be to examine the feasibility of the assumptions of the FEP but also to address a tension at the heart of AI concerning the role of models in cognition. To what extent does utilising internal models demand the capacity for representation? Is this framework naturally at odds with strong enactivism?

あと、以前のセミナーの告知のようだけど、これとかガチでしょう。“The Neuroscience of Enactivism: Reasons why we are not just our brains” Speaker: Dr Christopher Buckley

I will finish by describing how, in agreement with the enactivist movement, this work strongly suggests we are not just our brains but who we are only rightly emerges from the interaction of our brain/body and environment.

---

生理研研究会の講演者の一人がARAYAのMartin Biehlさんですが、彼にはおそらく内的動機づけの話をしていただくことになると思います。論文はこちら: Front. Neurorobot., 2018 “Expanding the Active Inference Landscape: More Intrinsic Motivations in the Perception-Action Loop”

あと、動画もあります。100分。“Tutorial on comparing intrinsic motivations in a unified framework” こちら見て予習して、講演者に質問できるようにしておくとよいと思います。

さっそくトークの動画を飛ばし飛ばしで見てみました。論文の本題に入るのは30分あたり(スライド35ページ)から。けっきょくメインのパートはFront. Neurorobot., 2018のセクション7.3のところで、FEPとPOMDPの枠組みに沿って、内発的動機づけの定義を

• Free energy minimization
• Predictive information maximization
• Knowledge seeking
• Empowerment maximization
• curiosity (a)
• curiosity (b)

と6種類くらい列挙して評価していた。どれがいちばんいい定義だ、みたいな結論はつけてなかったような。最後に紹介してたのはこちらの論文(arXiv 2018 “Large-Scale Study of Curiosity-Driven Learning”)の模様。

あと、Martin BiehlさんはFEPを情報幾何から理解しようとしたって論文もある。こちらも知りたいけど、研究会では両方ともは時間的に無理だと思う。てっとりばやくどこで三平方の定理が使えるかだけ知りたいけど。

以前FEPの式をいじってたときに、true posteriorがKL距離で、VFEもKL距離なら、情報幾何的に三平方の定理使えるんじゃ？と色めき立ったのだけど、VFEのほうは\sum_x q(x) \ln (q(x) /p(x,s)) と分母がxの確率ではない(xとsの同時確率)のでKL距離では書けないと指摘されて、勘違いだったことを知った。