« Twitterに脳内がだだ漏れる20080918 | 最新のページに戻る | 子どもと「BigDogごっこ」をした。 »
■ 「補正」が必要なのは、モデル化が不充分である証拠
超背伸びして書きました。怪しいところをwebで確認したりせずに書いた。もうしらない。厳しくせずに、褒めて伸ばしてほしい。
で、情報理論ってなんか嫌いなんですよね。っていうかニューロンの発火の解析関連での情報理論の応用ってのが嫌いってのが正しいのか。
なにがいやって、扱っているのがp(x,y),p(x)とか確率で、その計算をするのに使ったnが出てこない。基本的に無限試行行った後の理想的状態とかしか考えてないわけですよ。それは統計物理のようにものすごい多い数を扱っているときは良い。ていうかエントロピーって発想自体が元々そこからですからね。だけど、ニューロンの記録のように試行数10回とかでやっている事象にそのまま当てはめるわけにはいかない。
とは言いましたがもちろんわたしもITニューロンの発火パターンの解析に活用していようとか思っていろいろ勉強していたことがあったし、いくつか解析もしてました。そのころはちょうど
"Spikes: Exploring the Neural Code"が出た頃だったし、Panzeriの一連の仕事、たとえば
Golomb D, Hertz J, Panzeri S, Treves A, Richmond B. "How well can we estimate the information carried in neuronal responses from limited samples?" Neural Comput. 1997 Apr 1;9(3):649-65.
(ちなみにPanzeriはさいきんもStefano Panzeri, Riccardo Senatore, Marcelo A. Montemurro and Rasmus S. Petersen "Correcting for the Sampling Bias Problem in Spike Train Information Measures" J Neurophysiol 98: 1064-1072, 2007ってレビューを出してるのを知った。)
とかを読んだり、菅生さんのNature
Sugase Y, Yamane S, Ueno S, Kawano K. "Global and fine information coded by single neurons in the temporal visual cortex." Nature. 1999 Aug 26;400(6747):869-73.
が出た時代で、これのインパクトは大きかった。
んで、けっきょくのところ、少ない試行数だと、試行間のvariationの分だけ情報をoverestimateしてしまいます。(音A刺激の試行と音B刺激の試行とで視覚野ニューロンのスパイク数を数えれば、試行間のばらつきがあるから、相互情報量>0となってしまう。) だからその分の補正をしようってのが上述のGolomb et.alとか含めていくつか仕事があるわけです。
そのころは相互情報量ってけっこう扱いにくいなあとかそのくらいに思ってたんだけだけど、その後の業界的にも「選択性の指標」みたいなかんじで相互情報量を使うってのはあまり見なくなってきたし、私もすっかり忘れてました。(いまだにノンパラでの分離度としてROCのd'とかAUCとか使うのは多いんだけど、あれはなんなんだろ。自分でも使ってるけどね。)
んでずっと放置してたんだけど、この「補正」という発想がポイント(ガン、って書こうと思ったけど、これっていまどきpolitically incorrectですかね)なんではないかと思ったんです。つまり、「補正」が必要なのは、モデル化が不充分である証拠。
一つの例はあれですね、fMRIでのvoxelごとに検定をすることによるmultiple comparisonの問題を、Bonferroniの「補正」を使うのではぜんぜんpracticalでない(補正が効き過ぎる)のを、Worsley-Fristonがrandom field theoryという、voxelのデータにsmoothingがかかったものを明示的にモデル化した理論を使うことによって解決したわけです。これによってfMRIの解析のスタンダードが確立したと言えると思います。
もうひとつ例を挙げると、時系列データの解析(たとえばLTPの時間経過の検定とか。それともいまだに時点ごとのt検やってんのかな)では、repeated measures ANOVAがよく使われますが、球面性の仮定が成り立たない場合、自由度に「補正」をかけます(Greenhouse-GeisserのεまたはHuynh-Feldtのε)。つまりじっさいのデータの数から計算した自由度では自由度をoverestimateしてしまうから、自由度を下げてやっているわけです。
こちらのほうの問題はけっきょく、球面性の仮定を行っていないMANOVAを使うことで解消されました。つまり、モデル内で要因間の差の分散が違っていることをを想定していないrepeated measures ANOVAで、要因間の差の分散が違っている分の補正をかける、なんてトリッキーなことをせずに、残差の共分散構造をあらかじめモデルに取り込んだMANOVAを使うほうがstraightforwardなわけですから。(じっさいにはMANOVAはデータ数が少ないと使えないとかいった弱点がありますが：反復測定 ANOVA か、(G)MANOVA かの選択の問題 ) General linear modelからgeneralized linear modelへの拡張によって問題が解決した、というのが正しい言い方でしょうか。
んで、翻って、おなじような解決法が「ニューロンの発火の解析関連での情報理論の応用」でも見られないかなと思うんです。ここはたぶんベイジアンですよね。というのも、「少ない試行数だと、試行間のvariationの分だけ情報をoverestimateしてしまう」というのは、fittingにおけるoverfittingの問題とたぶん等価もしくは相似ですよね。(PRML本の第一章読んだのでかぶれてる…) Overfittingの場合も、データのnが少ないときに推定値の分散を考慮していないためにバイアスが出る、というのが元凶でした。
ペナルティの項を与えるっていう発想はちょっと「補正」の発想に似ていていやな気はするけど、試行数を明示的に入れた上で相互情報量やKL-divergenceのことを考える、というとベイジアン的な取り扱いをするということになりますよね。そういうのってあるんだろうか。たぶんあるんでしょう。よく知らないけど。なかったら作るべきだ。相互情報量の「補正」なんかしてないで、このレベルから捉え直すべきだ。たぶんbinの問題(binの存在を前提としていること、binの中に必ずデータが入っているようにbinを切らないといけない)もここで解消すべき問題なんではないかと思います。
そもそもわたしの分野で、真の意味で情報理論的取り扱いをする必要がある部分はどこにあるのか(反応選択性の指標代わりとかぢゃなくて)、というあたりが問題だったりもします。ただ、これからBMIとか大規模データ集積とかそういうところが発展していくことによって、たぶん必要なデータ解析自体は変わってくることになります。もともとこのfieldは、subjectのn=2で、記録ニューロンの数がm=100とかそういった歪んだ状況でANOVAとかGLMとかやってきたわけでそれはおかしな話でした。次へ進むためには、そのへんは整備されないといけない。これがわたしの仕事だとは思わないのだけど、上記のFristonがfMRIで行った業績のように、だれかが手がける必要がある問題なんじゃないかと思ってます。
落ち穂拾い：nをものすごく大きくするとなんでも有意になってしまうという問題があります。けっきょくこれはp-value至上主義の弊害であって、ホントはtype I errorとtype II errorとでのpayoffを考えるべきなんですよね。
# しか
僕は，情報量や情報量規準を使って神経科学について何か言うにしても，いまのところは間接的か限定的だと思います．
ところで，情報量規準で，一致性（標本数が無限の時に真のモデルと一致する性質）の「無い」AIC（Akaike Infometion Criteria），それを考えた赤池さんはデータが有限であるってことを理論体系の前提にして考えたとか（←受け売りなんで，その実をわかっていませんが）．
僕なんかは，そのモデルでデータを説明（or 予測 or きれいにフィッティング）できたら，真実を表現していると思えちゃうんですけど，一致性が無いから厳密に言ったらダメなんですよね？？．．．．．．．この辺，科学者はどう考えてるのだろうと思うところです．
PS.
# viking間違い発見．
「菅瀬さん」→「管生さん」です．
今回の問題提起は、つまるところ「fMRIにおけるFristonの仕事のような『統計の使い方の統一』がnhpにはないが、どうしたら良いか」というお話になるのでしょうか？
似たような統計解析の議論はhuman EEGでもよく耳にしますね。巷で有名な論文でも、100本読めば100通りの統計を使っていてどれを信用したらいいんだかいまいちわかりません。
また、Fristonのrandom field theoryにしてもindividual activation mapが重要になるテーマでない限りは、結局nを増やしてrandom effectsというお定まりの展開に持ち込む研究者が多数派ですので、実は現場的にはあまり意味がない（しかも最近はFDRのようなもっと「ヌルい」補正もあるので）ような印象もあります。
# pooneil>>データが有限であるってことを理論体系の前提にして考えたとか
# pooneil確かなことはわかりませんが、ベイジアン的発想の方がデータが有限であることに対応しやすそうだ、というheuristicsをもって勉強しているところです。
あるモデルでデータを説明できたときに、より包括性の高いモデルを考えてゆくというのがある道かと。その意味で、モデルの前提部分から作り直す必要があるかどうかの目安の一つが、現状のモデルがpost-hocな「補正」を必要としているかどうかではないか、というのが今回のエントリの論旨です。
あと、訂正ありがとうございます。
>>fMRIにおけるFristonの仕事のような『統計の使い方の統一』がnhpにはないが、どうしたら良いか
これに関しては以前のこれ： http://www.mumumu.org/~viking/blog-wp/?p=175 で書いたことと繋がるかと思いますが、あまり明確なことを考えていたわけではありません。あくまで、「「補正」が必要なのは、モデル化が不充分である証拠 」というのがいくつかの場面で当てはまるのではないか、だからたぶん相互情報量を使った解析でも同じようなブレークスルーが必要なのではないか、ということを提案したわけです。
Random field theoryの話はぶっちゃけ受け売りなのですが、たしかこれもけっきょくのところ自由度の補正というところに行き着くはずで(記憶が不確か)、もっと先の話があるのでしょう。フォローできてませんが。それでも、たぶんFriston以前から考えれば大ブレークスルーだったはずでして。
解析の手法の進歩が漸次的に起きていくときのダイナミクスみたいなものを抽出してやろうという試みとして読んでいただけたらと思います。
>> 結局nを増やしてrandom effects
# vikingこのへんのことも本当は考えたかったのですが、息切れしてしまいました。教科書的にはbeta (検出力)の評価とか、effect sizeの評価とかを考えることになると思いますが、それだけだと足りないよなあというのが実感です。
そういえば、Friston vs. Kanwisherの時に似たようなお話しましたっけ。
Fristonのrandom field theory（もしくはfamily-wise error: FWE）というのは、確かに根本義から言えば自由度の補正ですね。つまり、賦活voxelの数に応じて自由度を補正する(Bonferroni)のではなく、賦活clusterの数に応じて補正する(random field theory)というアイデアです。
ただ、もちろんFWEにも欠点はありまして、一番わかりやすいのがspatial filteringへの制約です。当然ですが、FWEだとclusterをどう決めるかに検出力が完全に依存しますので、例えばspatial filteringの際のGaussianのFWHMをvoxel sizeに対してどれくらいの倍率にしたかによってp-value thresholdがアホみたいに変動します。そうなると、「FWEで高い検出力を得るためにfilteringする」のか「賦活をcluster単位でわかりやすくまとめるためにfilteringする」のかわからなくなります（本義的には後者であるべき）。
fMRIの方はnhpに比べてnを大きく取れますので、この辺の問題を嫌がって「小さいnでfixed effectsでFWEをかけたmapを出す」よりは「大きいnでrandom effectsでuncorrected p-valueのmapを出す」という研究者が多くなるのは自然なことでしょう。おそらく、fMRIの初期にはnを増やすのが難しくて（同意してくれるボランティアがラボの身内ぐらいしかいなかった時代）こういう苦労をしてきたのが、今は脳に興味を持つ人が増えてwebで公募してもたくさん集まってくれるようになって要らなくなったという部分もあるのではないかと。
・・・というfMRIにおける統計学の移り変わりを見るに、nhpの発火パターンを扱う統計学についてもいずれ同じような展開が出てくるのではないかという気がします。ただ、その前に大事なのはどの情報量を用いるのか、どの理論を用いるのかという以前に、「何が独立で何が独立でないデータなのか」をはっきりさせることなのかもしれません（nhpは全くの素人なので的外れかもしれません、ごめんなさい）。近接しているニューロンでも実は独立とか、離れたところにあるニューロン同士でも実は独立でないとか、そういうところにも解決のカギがあるように思えます。