pooneilの脳科学論文コメント

■ レスコーラシンポのために予習

2012/11/8

レスコーラシンポのために予習としてRWモデルの理解(<-そこから?)。読んでて楽しいのは、salienceとかsurpriseとか、わたしがこれまで聞いてきたようなキーワードが出てくること。

すると、ここで言ってるsurpriseをIttiのベイジアン・サプライズで置き換えらんないか？なんてことを考える。連合学習理論の本質がなんなのかまだ私には分かっていないのだけれども、もし究極には「連合強度の上げ下げ」を扱うかどうかであるなら、ベイジアンな連合学習理論もありうる。

つまり、複数のCS1, CS2の出現頻度とそれぞれでのcontingency P(US|CS1), P(US|~CS1), P(US|CS2), P(US|~CS2)を逐一「推定」して行動判断をする過程があれば、そのときの「連合強度」を計算することが出来るだろう。

そのときの更新則がサプライズ(連合強度の次元での引き算)になっているのがRWモデルで、この更新則にベイジアン・サプライズを使えないかってこと。(ベイジアン・サプライズ = posterior beliefとprior beliefとのKL距離)

"associative learning" bayesianでググってみたら、John K. KruschKeの論文がみつかった。("Doing Bayesian Data Analysis"の人)

あと、Fristonはどうかというと、本人筆頭の論文ではRW1972をSutton & Bartoと並べて言及するだけでそんな深いことを言ってない。共著ではCerebral Cortex 2009、 あとスライドでこのあたりに出てくる。

ともあれ、ここまで極端に振ってみると、ベイズ的になんでも全部取り込んで確率分布として表象しちゃう方策と、必要最小限のことだけ表象する方策(そこで「連合強度」を使うのが連合学習理論)とでそれぞれに学習をして行動を最適化をすることが可能だと言える。これで毎度のベイズ脳批判に到達する。

あとはどこまでそういった表象を持っているかを調べるというempiricalな問題になる。

ここまで考えると、データドリヴンでの連合学習モデルの形成とかも思いつく。つまり、CS1, CS2, US1, US2くらいのパラメータがあって、連合学習で知られているあらゆるスケジュールは上記パラメータ間の時間的関係として記述される。

それで、これらのパラメータとスケジュールを振った上で、CR1, CR2のデータ(それぞれUS1, US2にたいするもの)を収集する。これらのパラメータとスケジュールとCRの関係をうまく説明するモデルを機械学習で作ってやる。(<-出たっ機械学習信仰)

そのとき「連合強度」とよべるような潜在変数が出てくるかを問う。もしくは既存のモデルでの連合強度をモデルに入れてやるとモデルの自由度が効率的に下げられるかどうか検証するとか。

CSもUSもなんらかの刺激だから本質的には差がないので(じっさいSOPではそうなっている)、もう少しパラメータ数を減らしてやることは出来るかもしれない。

一般化すれば、P(R1(t),R2(t),...) = f(P(S1(t),S1(t-1),...,S2(t),S2(t-1),...))となるわけだから。

こういうのもどっかにあるか。ググってみたが、data-driven "associative learning"では見つからなかった。

いろいろ外している気はするが、それでもとにかく書いてみた。

明日の予習用にと"Pavlovian Conditioning: It's Not What You Think It"を読んだ。よく構造化されているし、かなりかみ砕いて書いてあるので読みやすい。

まとめておくと、1988年の段階でも、教科書的なPavlovian Conditioningの説明というのは連合学習理論の進歩をちゃんと反映していない。

1) temporal contiguityはconditioningの必要条件でもなければ、充分条件でもない。(P(US|CS) vs. P(US|~CS)の関係やblockingの例を出して、動物含むわれわれ有機体はinformation seekerなのだと強調する)

2) 単純な刺激CSとUSの間を連合するものだけではない。RHというcompoundとR,H単体とを別々にconditioningする例を出して、この連合によって単純なものから複雑な概念を作ることが出来ることを強調している。(これがたぶんHumeに繋がる)

3) CSはUSが引き起こした応答だけを誘導するわけではない。たとえばCSがlocalizedであるかdiffuseであるかによって引き起こす応答は違いうる。ゆえに、あるCSによってUSで見える応答が起こさなかくても、べつの応答に反映する可能性がある。

ここまで。1)に関しては「学習心理学における古典的条件づけの理論」で読んでだいたい分かっていたが、それ以外にももっといろんな論点があって面白かった。たとえばorganismのexisting structureの重要性なんてのは、すごくエコロジカルだ。

なぜ急にこの分野に勉強しているかというと、連合学習理論はじつはすごく表象主義的なので、反表象主義的なsensorimotor理論とぶつけて考える意義があると思うから。一方で、徹底的に擬人化を避けるという意味では両者は共通していて、認知神経科学とはちょっと違ったところにいるようだ。

明日は"Contemporary Study of Pavlovian Conditioning"を読んでみることにしよう。

自分の興味の向き方を考えてみると、現象学的経験自体には興味があるのだけれども、心の理論とかミラーニューロンとかはどうも擬人的すぎてなじめない。身体性には興味があるが、社会性はよく分からない。あと、いつまで経っても「言語」に興味が向かない。良くも悪くもいまのところそんなかんじ。

つまり、意識経験は重要なんだけど、人間的であること(概念、言語、…)にはなぜかあまり惹かれない。非人間的な意識科学者。ってまさに自分がやってきたことか。

2012/11/9

.@kosukesa おつかれさまでした。新幹線の時間があったのでレスコーラの若手へのメッセージを聞いたところまでで失礼させていただきました。

レスコーラのトークは「compound stimuliを使うとあれも出来るこれも出来る」みたいな話で、神経科学者としては難易度高かった。昨日読んだAmerican Psychologistをもし読んでいなかったら、「そもそもABはAB->USなのかA->US, B->USなのか」ってところからつまずくところだった。

レスコーラのメッセージでいいなと思ったのは"Identify critical difference among accounts"(そのためにきっちり統制実験しとけよ)ってのと"Find the improbable prediction"(インパクトのある仕事になる)の二つ。

こんかいのしゅっちょうでは、アイパッドミニをじっさいにてにとってかくにんすることができたのがよかったことです(<-小学生の感想文)