pooneilの脳科学論文コメント

■ 計算論的モデルを使うということについて実感に基づきつつ。

2012/9/11

いままで自分が関わってきた計算論モデルは、サッカードの応答潜時をモデル化するdiffusion modelと、saliency mapという計算論的、心理学的な仮構物を中間に置いてボトムアップ注意をモデル化するsaliency model。

どちらとも、biologicalにplausibleであることに重点を置いて、たくさんのパラメータを入れ込んで行動データを予言するのに成功していたものを後から利用する立場だったんだけど、post-hocにパラメータどんどん突っ込んでその予言性能を上げるというのに違和感を持った。

当時はまだベイズ的なものを十分理解していたわけではなかったけれど。それで、どちらのときも不完全ながらモデル選択的なアプローチをした。

Diffusion modelの場合には解釈可能なパラメータ以外をなるたけ減らした上で、二つの条件であるパラメータthetaが等しいモデルと異なっているモデルとでAICを計算して、パラメータ増えたことを考慮してもthetaをべつべつにしたほうが良いモデルであるということを示した。

Saliency mapのほうはモデルを簡略化することは状況的に不可能だったから、チャネルの寄与をleave-one-outを使って評価した。こっちはcross validationはしていないし、いろいろ足りなかったが、やりたかったのはそういう方向性。どちらも、なんでもパラメータ突っ込めばいいというわけではないというのが基本的なアイデア。

そんなわけで、この方向性を突き詰めて、モデルベースで行こうとしたら、 たぶんベイズ的になるんだろうと思ってた。いっぽうで、この種のモデルはモデルの中でしか話ができない。たとえばsaliency mapの話で行けば、あれはもともとV1を経由した皮質での視覚情報処理のモデルなんだから、V1 lesionの話をこれで説明しようってのが端っからズレてる。

つまり、もっとぜんぜん違うモデルを持ってくれば予測性能が上がる可能性はまったく否定できない。Diffusion modelのほうも同じで、パラメータをthetaとmuの二つに絞っちゃったので、二つのグループの違いはこのパラメータの違いでしか説明できない。

もちろんモデルがまったく間違っているのならパラメーターの変動でデータを説明することがそもそもできないけど、もっといいモデルがあった可能性はある。以前も書いたけど、diffusion modelを含むaccumulator modelというのはevidenceを蓄積する。

でも、蓄積しないである時点でのevidenceの大きさが閾値越えるかどうかでサッカードするってモデルでも良い。ふつうはこういうモデルは有効でないけど、V1 lesionしたときにそういうものが有効である可能性はある。

まとめると、モデルベースだとモデルの空間の中で一番ましなものを探索しているだけということになる。まあ、そういってしまえば当たり前な気がするが、パラメータ空間だけ見てると、今言ったような蓄積モードかその時々モードかとかそういうものが見えなくなる。

そういうわけで、モデルベースでやることの限界と帰結みたいなものを自分なりの経験に基づいてまとめてみた。

こういうことに目が向く前は、統計でANOVAかけたとか、ここは対応があるデータだとか、多重比較がどうのとか、多重共線性がどうのとかそういうことに多大な興味があったが、モデルベースで考えるようになったらなんかどうにも間接的すぎる気がしたものだった。

神経生理の方と話していて、基本はt検ですよ、と主張するのを聞いてて、気持ちは分かる、たしかにそういう美しい実験デザインを汲んでみたいものだと思うけど、でも自分はずいぶんと隔たったところへ来てしまったなと実感した。

そんな自分としては、いまは信号検出理論とか見てるとあまりに原始的でもちょっとなんとかならんのかと思う。すくなくともガウス分布は勘弁してほしい。

そんなこんなで、あらためてこう書いてみると、自分がこれほどまでモデルベース思想だったかと驚いた。私はどっち向いて進んだらいいんだろう、と途方に暮れた。

ぜんぜん違うモデル、なんてあり得るかって議論はあり得る。たとえばサリエンシーモデルはもともとTriesmanのfeature integration theoryから来ているので、featureのチャネルはそれぞれ独立して計算されて、後で足しあわされる。当然、このようなパラレルな処理がいつも厳密に行われているとは限らない。でもそういうのは、featureののinteractionのチャネルを付加してやればよい(たとえばmotion * color)。けっきょくモデルを拡大して、パラメータを増やしてやることになるだろう。

同様にして、diffusion modelも蓄積モードと瞬時モードの両方を計算しておいて、必要ならどっちか荷重見かけてやればよい。こうして、モデルの柔軟性を上げることは、モデルの肥大化とそれに伴うパラメータ数の増大によって実現される。そうなると問題は「はたしてすべてのあり得る可能性を取り込んでいるのだろうか」というなんかフレーム問題みたいなものに帰着する気はする。そこまで行ってしまう前に、そもそもモデルの膨大かでは対処できないような致命的なモデルの改変というのはあるだろうか？

たとえばIttiのサリエンシーモデルは片道通行なのが特色で、Tsutosとかのものと比べると違っている。それすら、あらたに逆向きの流れを付加してやれば対処可能な気はする。とか書いているうちにだんだん分かってきて、これを推し進めるとけっきょくパーセプトロンからバックプロパゲーションに至ったニューラルネットワークと同じ道なのだな。なんという車輪の再発明w

---

2012/9/12

そういう意味であれば、数時間前に書いたdiffusion modelとsaliency mapを題材に書いた話とずれてはいないか。モデルを作っているときはそういうこと考えたりするけど、でも、論文を書いて戦っているときに「贋作だよな」という感覚をレフェリーと共有した経験はない。

いや違うか。「これこれこういうモデルの中で最適化したパラメータはこういう挙動を示します」みたいな言い方に留めておいて、もっと違ったモデルがあること自体は否定しないように書いているか。いまのところ、モデルをゼロから作ったわけではないのでそういう場面にはまだ遭遇してないんだろう。

「サリエンシーモデルはV1があること前提なのに、V1損傷のモデルをチャネルのゲイン変えるだけで対応っておかしいだろ」て言われたらどうしようかと事前に考えたけど、いままでに指摘されたことはない。そう言われたとしても「もっと良い(正しい？)モデルがある可能性は否定しません」でよいか。

「原理drivenで微分方程式で動かすようなモデル」このフレーズを見て、それからさっきの「お話としての説明」「物理学的な説明」 http://pooneil.sakura.ne.jp/archives/permalink/001364.php と突き合わせてみると、さっき書いたことは転倒していることが分かる。

つまり、認知科学的なモジュールを置いた説明が「お話としての説明」であって、バイオロジカルモデルが物理的因果で起こす現象が「物理的説明」で、「正しいモデル」というならそれは後者。前者こそが「贋作」であることを分かった上で使うべき仮構物。

Diffusion modelの話でいけば、サッカード開始のために「閾値を越える」というが、そんな閾値は仮構物。実際に起こっているのは、ニューラルネットワークの中でSelf-organized criticalityが出来ていて、どっかから雪崩が始まるということ。

以前diffusion modelをマーの三段階に当てはめようとしたことがあったけど、 http://pooneil.sakura.ne.jp/archives/permalink/001282.php あそこで書いたのと同じ。つまり、閾値はimplementationのレベルではなくて、もう一段抽象度が上がってる。

ニューロン間の相互作用(プロセス)があって、それのSOCとしての状態(なんか温度みたいなもの)をあらわそうとすると閾値(表象)になる。かくして表象とプロセスとのやりとりが抽象度をレベルを上下する。ここが「ベイトソン流に解釈する」って書いたところ。

だから、データドリブンにデコーダ作ってベイズの法則でひっくり返して(<-簡単に言いやがる)生成モデルを作るのも、認知心理学的な知見からモジュールを想定して作るモデルも両方とも贋作。すべてのニューロンの発火とシナプス伝達からなる力学系が「真作」。それは記述の抽象度を反映している。

ネットワークの状態(プロセス)を閾値として表象するとき、それは他者による観察ではあるけれども、客観的なものであるとは言える。

つまり、閾値は温度みたいな統計物理的な量に対応するから、ミクロでは定義できない。1個のニューロンの発火の閾値イコールネットワークのバーストの閾値ではないということ。ともあれ、物理量だから、まだここは物理的因果が働く世界であって、認知モジュール間の文法の世界ではない。

閾値はそういった統計量である一方で、蓄積されるエビデンスの大きさは発火頻度だから1個のニューロンの量のようにも見える。でもそうすると抽象度の違うものの間でのモデルになるからなんかおかしい。エビデンスは一つのニューロンでも集団でも質的には同じように見えるからだまされるのか。