pooneilの脳科学論文コメント

■ 「行動の価値」を表す線条体ニューロン

Science 11/25 "Representation of Action-Specific Reward Values in the Striatum"

線条体の論文に戻りましょう。Supplementary dataのp.11-12でselected actionをどのくらいコードしているかの議論をしています。はじめのパラグラフは、reward probabilityをcollapseして、ノンパラでhigh valueへのactionとlow valueへのactionとでの有意差検定をしています。これはchoice probabilityがvalueと相関しているから行ったのでしょう。あと、右と左との間の検定ではないのです。ともあれ、reward probabilityをcollapseした点において、有意性が出にくくなるわけで、これまで指摘してきた、同時にfittingしてないという問題をここでも抱えています。いちばんフェアなのは、Q_L、Q_R、action{R,L}で同時にfittingしておいてから、それぞれのregressorのR-squareを計算することでモデルへの寄与の大きさを定量化してやることだと思うのです。ちと同じことに絡みすぎましたのでこのへんで。

お次はFig.4に関して。GlobalなQ_R、Q_LではなくてtrialごとのinstantaneousなQ_R(i)、Q_L(i)を計算してやって、行動およびニューロンのデータと関連づけています。(Sugrue et alやDorris and Glimcherとの対応を付けるならば、これまでのQ_RやQ_Lがglobalなtime scaleでのvalueであり、Q_R(i)やQ_L(i)がlocalなvalueになります。) このparticle filterを使ったベイズ推定によるQ_R(i)、Q_L(i)の推定、というやつはadvances in NIPS 2004ですでにpublishされていて、ダウンロード可能です。SugrueのときなんかglobalなvalueよりはlocalなvalueのほうがLIPニューロンではコードされていたわけで、instantaneousなQ_R(i)、Q_L(i)を計算してやることでstriatumのニューロン発火をよりよくfitting出来るのではないかと予想するわけです。Fig.4および本文に出てきているのは1個のニューロンのデータだけですので、suppelementary dataの方を見ると、p.10-11に記載があります。有意なニューロンの数だけで考えると、Q_RやQ_LとQ_R(i)やQ_L(i)とでは差がないようです。

これはLIPニューロンとは違っていておもしろいかも、と言いたいところですが、これまで指摘した点と併せて考えてみると、instantaneousなvalueで見たほうが真実に近いのではないでしょうか。これまで指摘してきた、selected actionの寄与に関してもこちらは正当にモデル化されている(supplementのp.4)と言えると思います。逆に言えば、こちらのモデルを使って、Q_R(i)、Q_L(i)をregressorとしたときの説明率(R-suqare)とselected actionをregressorとしたときの説明率とを比較して、前者の説明率が高いことを示せれば、より強い証拠だったと思います。一方で、Fig.4Bにもあるように、Q_R(i)>Q_L(i)のときにはほぼ常にRを選んでいるわけで、multicollinearityの問題はさらに深刻になることも予想されます。このへんは、VR-VR concurrent reinforcement scheduleを使っているが故に、classicalなmatching lawが成り立たない(choice probabilityは横軸にlocal valueをとると、step関数的になる)ことの弱点、とも言えます。後知恵ですが、Sugrue et alでVI-VIを使うことでmatching lawが成り立つようにしたことは、前回のエントリの上図のCやDの部分のデータを確保することにも役立っていたのだな、とわかります。

書いていることがだらけてきました。つぎくらいでまとめたいと思います。