pooneilの脳科学論文コメント

■ ASCONE2010の準備してます(3)predictive codingと身体性と自由エネルギー

ASCONE2010 『意識の実体に迫る』 で「注意の計算理論で盲視を調べる」ってタイトルで講義をします。

それに関連していろいろツイッターでつぶやいてきました。それのまとめの第三弾は、自由エネルギーとかpredictive codingとかembodiementと意識とかdecodingとかたくさんしゃべっているあたり。正直わかってないままに書いてる。でも、こういうのを暖めておいて、再び見直してみたら、いつかそれなりに一つの線につながるんじゃないか、ってそんな確信を持って書いてる。

意識を研究する神経生理学者としてやってこうと思ってきたんだけど、それなりに独特なことを言っているらしい。このあいだの「おちゅーしゃの時間デスよ!」みたいなもんで、あーまた吉田がオートポイエーシスとか言ってるよ、とか思ってくれればそれで充分かな、とか思ってるんです。それではここから：

---

もう頭が働かないのでFristonのレビューをぱらぱら見ていたら(<-ええカッコしすぎ)、Maturana-Varelaの Autopoiesis and Cognitionがreferされているのを見つけて、すべての回り道がふたたび収束してくるような高揚感を抱いた。

---

一回性の事象の機能イメージングとかやんないんですか？ ライフログを再生して見せて、脳活動デコードしてイベントをいくつかのクラスに分類とか。RT @ykamit: ライフログカメラ入手しますので何かの機会に付けて行きますね。こういうの使うと記憶のエンコードをしない習慣が加速しそう。

イイ!!! 実のところ一回性を強調するのも極論で、単一の事象をなぜあるクラスに分類できるのかといった、特殊性と一般性とのループを考える方が全体を捉えている気がする。 @ykamit: 経験の驚くべき反復性(「永劫回帰性」)

でもってしかもそういう相反する側面がニューロンの情報表現のselectivityとinvarianceという相反する側面と対応している。だからこのレビューで http://bit.ly/9o6EMo encoding/decodingと関連づけるのを見て興味がわいた。

だがそもそも一回性の事象をデコードする必要なんてあるのだろうか。デコードは繰り返しを前提としている。こうやってけっきょく一回性の事象というのは経験/意識のドメインにあって、視覚情報処理のドメインでは扱えないことになる。って毎度の話になってしまった。

たぶんこういう話の持っていきかたをしてハードプロブレムにしてしまう必要はないのだろう。ニューロンの表象の中でデコードする情報のクラスを広げたり狭めたりするような操作のことを考える、くらいのほうが意味があるのかもしれない。

---

これこそwhat-it-is-likeだけど、prediction errorが出まくる我々は一人称的観点からアクセスできてないのだな RT @ykamit: こんなのを見てても鷲の脳はスパースにしか発火しないんだろうな http://t.co/a5vC9m4

Umweltを共有している人間の他者であっても、内部からのアクセスができない限り一人称的観点には立てないってのが問題だったわけだけど、… RT @ykamit: そこがデコーディング（脳から対応する刺激やラベルを出力）による「マインドリーディング」の原理的限界でもある。

predictive codingの文脈で、umweltの共有=[環境とagentとの関係の記述]とdecoding=[予測誤差の記述]を元にして、内部的に生成しているtop-down prediction=[内部モデル=efference copy]を推定できたとしたら、かなり良い線いってる気はする。そこまでいけば、それでも説明できないような残余があるか、って議論に辿りつけるんではないだろうかとか考える。じつのところこれは[表象の解読]から[プロセスの記述]へ、という操作脳科学のスローガンと同じことだったりするのだけれど。

---

以前はprediction errorとして上がっていくのがsurprise=ボトムアップの注意の要素で、top-downでおりてくるpredictionが conscious percept、という図式を考えていたけど(Lammeっぽく)、さいきんの ポジオの注意モデル、それからその元となったRaoのモデルとかを読み直して、active inferenceをするという計算論的問題を解くと自然にattentiional modulation様のものが見えてくる、という図式を考えると、注意と意識を機能的に別れたモジュールとして考えること自体が不要なことのように思えてきた。あと、このスキームだとtop-down attentionとawarenessが明示的に分けられない。

Fristonによるbinocular rivalryのモデルもあるけど、これもおなじことで、perceptはselective attention (top down)だろうがconscious perceptだろうがかまわない。

この段階においては、以前書いたattentionはselectionというprocessで、conscious perceptはそのcontent、という分け方の方が明快なように思える。

---

こうやってTLを眺めていると、活動時間が重なってやりとりが生まれるときもあるし、なんとなくズレるときもある。ついったはインターフェース的に「亀レス」がしにくいので、同期しないとやりとりが生まれにくい。同期しててもやりとりがないときもある。(<-神経発火の同期になぞらえたいらしい)

わたしのTLとほかの人のTLは異なっていて、その局所性があるためについったでの話題は比較的コンテキストの共有を前提としない、独特なものとなる。

つげったとかで全体を見渡すようにまとめを作ることはできるが、それはいったん文脈を作った上でオフライン的にしかなされない。(<-脳の表象のメタ性とつなげたいらしい；全体を見渡すホムンクルスはないのではなくて、いったん文脈が形成された上で後付けで生成するのだ。オンラインではなくて。)

自由意志あたりの問題になるけど、私たちはある条件が来ればそれに機械的に応答しているだけの自動人形だ。でもそれは「オンライン」ではそうなだけであって、「オフライン」でそれに意味づけをして、学習をして、行動のバイアスを変えて、未来の計画を作る。

たぶん意識はそこに関わっているから、あるひとは意識はメタ認知であると言うし、あるひとは意識はexecutive controlをするための機能であるという言い方をする。私としてはオフラインで内部モデルをリモデルすることそのものが意識なんだろうと思ってるけど、たぶんこれらは同根だ。

そういう意味でサプライズを考えるとちょっとパラドキシカルな状況になる。つまり、priorからposteriorへの時々刻々の変化分の大きさがサプライズであって、これがほぼボトムアップの注意と同一視できて、しかもそれは意識とは別ものなのだから。

「オフラインで内部モデルをリモデルすること」とサプライズとは明らかに別のことなのだけれど、どう表現したらよいのだろうか。意識に上るものにはサプライズが必須で、あとののっぺりとした時間・空間はすべてそういったエッジからfilling-inされている、というイメージを持っている。でもサプライズのあるものすべてが意識に上るわけではない。

つまりfilling-inによる説明は、サプライズが低いところは我々は意識しているのではなくて、inferしているだけなのだとする。もちろんこれは極論だ。エッジのあいだの平面だってもっと周りから見ればspatial surpriseがあるので、たんにfilling-inされるだけの空虚ではない。

オンライン・オフラインの話はジャンヌローのリーチングの話とか、 saccadic adaptationの話とかそういうものを含めてちゃんと事例をまとめた上で議論しないといけないので、今は雑すぎる。盲視でサッカード軌道の補償ができないっていう自分の仕事に固執しすぎている。

---

ちょっと前提が飛んでたけど、つまり自由エネルギー仮説で(興味あるもん全部つっこんでしゃべってます)、脳が周辺尤度最大化をしているのかって問いと繋がる。

ちなみにさいきんの脳プロ関係で佐藤雅昭先生がいらしたときにニューロンは変分ベイズできますか?ってまっすぐ聞いてみたけど、ムリでしょうって言ってましたね。なんらか脳のネットワークとして近いものをやっているということはあるかもしれないけど。

---

「複雑性とパラドックス」で「自然システムを構成する意味論」と「形式システムを構成する統語論」とがあってそれがencode,decodeされるという絵があった。http://bit.ly/aQd0zo 意味論と統語論がそういう風に対応することに興味がわいたので図書館から借りてきた。

そうしてみると、Marrの三段階 [計算論 - アルゴリズム - implemantation (=neurobiological model) ]はあくまで形式システムの中の話であって、それに自然システムが対置されていて、違った抽象レベルでdecode/encodeすると考えた方がよいように思えてきた。

いっぽうで、神経生理学側から見ると、計算論もアルゴリズムも実装のレベルも、表象とプロセスの形式システムであり、それと対応する神経活動を様々な抽象度でencode/decodeしている、というふうに考えられないだろうか。

「非線形な世界」も買ってきた。第4章「モデル化-現象の記載と理解」を読みたかったので。神経生理学でneural correlate(=表象)以外のアプローチを取るにはどうすればよいずっと考えてる。お題目だけならシステムバイオロジー的にとか言えるけど、もっとややこしくなくいきたい。

あ、ニューロンの活動を現象側に持ってくるのはへんだって気がしてきた。スパイク列になった時点でそれは表象なんで。

ニューロン間での信号のやりとりでprediction errorの計算から前段のニューロンの活動をinferする、それを遡っていって外界の物理的原因をinferする、といったベイズ的脳観において、前半は形式システム内での統語論的な操作になぞらえて考えるけど、後半は形式システムと意味システムとのあいだでのやりとりになっていないだろうか。となると、前半から後半に話が飛ぶところでズルというかカテゴリーミステイクみたいなことをしているんではないだろうか。

読み進めてみたけど、計算論には計算論の、アルゴリズムにはアルゴリズムの、形式システムと意味システムがあって、形式システムを回す表象とプロセス(=統語論)がある、となるとそれで話が済んでしまう。元の動機は実装のレベルは神経生物学的モデルで置き換えられるんでは?だったのだけど。

---

私にとって「アクティブな視覚と意識」って考え方は記号接地問題から来ていて、行動による働きかけがなければ意味も生成しないし、「意味」ってのが出てくるから意識の話になるって思ってた。たぶんこれを神経生物学的観点から来る問題にすることができればもっと意味のある議論になるのだろう。

ちなみにAlva Noeはたぶんギブソンの直接知覚からきていて、sensorimotor dependencyも、なんかものを操作してたとえばものの向こうにも別のものがあるとか、向きによって違って見えるとか、そういう知識があること、を指している。

これはアフォーダンスをpick-upする、ということの言い換えではないかと思う。そしてここには計算論的な発想はない。計算論自体を知らないのかもしれないし、計算論が基本的に前提としている表象主義に反対する立場だからかもしれない。

でもそこで言っているsensorimotor dependencyは内部モデルで置き換え可能だと思うし、それは強い表象主義(<=>弱い表象主義)の前提をおかずに扱えばいいんじゃないかと思う。

そうしないと、sensorimotor dependencyの「知識を持つこと」なんて弱すぎる拘束条件じゃなくて、もっと内部モデルという計算論的概念から厳密科学としてアプローチできるはずだ、と考える。ちなみにBBSのノエandオリーガンは極端行動主義なのであれには同意できない。

「強い表象主義」「弱い表象主義」に関しては昔ブログにまとめたことがある：http://bit.ly/bblnJM 10年前であることにびっくり。

あと忘れてたけど「知恵の樹」ではこう書かれている：[表象とは、入力が引き起こす結果ではない。神経システムは、システムの作動への擾乱を特定することによってひとつの世界(＝表象)を生起させている] これはpredictive codingで言うpredictionとよく対応している。

---

saliencyやbayesian surpriseはpredictive codingの文脈で言うならば、prediction errorの方になる。いっぽうでtop-downのpredictionによってprediction errorをゼロにしようとする。

つまりprediction(P)がawarenessで、prediction error(PE)がbottom-up attention。だからほとんどの場合両者は一致する。両眼視野闘争ではPEが大きい方とPが大きい方のミスマッチが起こっていると説明できる。これはFristionの論文にあったことの受け売り。

Predictionはあくまでそれまでの経験によって形成されたpriorが必要なので、刺激そのものによってボトムアップ的にできたものよりも間接的だ。そして行動によってverifyされることによって内部モデルはアップデートされ、維持される。

夢もMCSでの意識も、それまでに行動によって現実の手触りを持って内部モデルが形成されたからこそ可能なのであって、生まれてからずっと夢を見続けることはできないだろう。ただしこの仮想実験は、顔ニューロンなどの選択性の形成が(ある程度は)経験を必要とする事実と交絡する。

こうして考えてみると、内部モデルの形成とニューロンの選択性とは不可分のものなのか、独立して操作できるのか、という風に問題を捉え直すことができるかもしれない。もちろんこれは内部モデルの実態が何なのかがわからないと意味のある問いではない。

つまり、prediction errorもpredictionもニューロンの活動でしかなくて、たとえばlayerによる違いとかそういうことをいろんな人が考えている。つまり、この問題を解決するために必要な実験的事実がまだ足りない。

あと面白いのは、ニューロンの発火自体はsurpriseとよく合致している(ものもある)ということだ。ニューロンがKL divergence計算しているとは思えないからここはprediction errorのほうでよいと思うんだけど、

そうするとtop-down predictionは発火を打ち消すような抑制として効いているということになる。Interneuron介してやれば上位の領野からの入力が抑制として効くの自体は可能だけど。

---

以上です。ASCONE自体の募集はすでに終了していますが、ツイッタでの議論は誰に対してもオープンです。まだ現在進行で内容が増えてます。ぜひそちも見ていただければ。それでは仙台にて。