pooneilの脳科学論文コメント

■ 「行動の価値」を表す線条体ニューロン

Science 11/25 "Representation of Action-Specific Reward Values in the Striatum"

ここまでは当たり障りのないことしか書いてこなかったので、もうちょっと論文に食い込んだことを語りましょう。論文のデータじたいに関するコメントです。

まず、行動のデータ、Fig.1についてですが、Fig.1Dとかを見ていると、Block内でどのくらい安定して選択をしているか、というあたりがまだ不十分なように見受けられます。同様な問題はGlimcher論文でもありました。Glimcher論文では、Nash平衡に到達しているときに成り立つ関係をデータの解釈に持ち込んでいるため、平衡状態が成り立っていないと論文のロジックそのものが崩壊する、という問題がありました。一方、今回の論文ではあくまで選択のバイアスさえ形成されればよいので、Glimcher論文ほどは深刻な問題になっていないのは確かです。しかし、あとあと問題になるであろうことは、50-10と90-50との間でそんなに差がないこと、つまり、左右のP(r)に偏りがあると行動選択が極端に片側に偏ってしまう、という点です。(後述しますが、行動選択率に極端な偏りがあるため、caudateニューロンのaction valueではなくてaction selectionによる効果が見えにくくなっているのではないか、というのがわたしが問題点に挙げたいところです。) 本当は80-50や50-20とかの方がよかったではないだろうか、と思います。

それからやっぱり、ニューロンのデータが食い足りないと思うのですな。Fig.1でブロックごとの行動のデータが出てますが、これにはニューロンのデータが付くべきだと思うのです。たとえば、Glimcher論文のFig.6Aとか。彦坂グループのNature論文のFig.2aとか。Blockの切り替わりによってどのくらいニューロンの発火が切り替わってゆくか、というspecimenのデータがないことで、この論文のニューロンのデータの印象が弱くなっていると思うのです。

Fig.3に関して。Q_RとQ_Lとそれぞれのslopeの有意度の分布ですが、なんらかのdistinctなpopulationがあるというよりは、まんべんなく広がっているように見えます。もしくは率直に言えば、左上から右下に向けて分布している(V,-Vの部分がないわけだから)ように見えます。このことは、delta-Q、つまり行動選択が左か右かをコードしている、という軸(このscattteredでy=-xのライン)に沿って広がっているということであり、Q_RやQ_Lを単独でコードしているニューロンもこの分布の中からたまたま出てきた、というふうにも見えます(意地悪く言えば、ですが)。T-valueではなくて、slopeそのもので見たらばまた印象は変わってくるかもしれませんが。

んでもってわたしがデータの面でいちばん問題だと思っているのは以下の点です。Fig.3BでのQ_R type、Q_L type、m typeという分類の仕方についてはsupplementary dataのほうに手続きが書いてありますが、まず、ニューロンの発火をQ_RとQ_Lとのモデルでregressionしたあとで、その残差をactionやreaction timeでregressしています(supplementary data p.4中段)。これはまったくフェアではありません。このモデルはそのあとで出てくるFig.4で使った、Q_RとQ_L、actionやreaction timeを全部同時につっこんだモデルと等価ではありません。本当ならactionで有意になるかもしれなかったニューロンで、Q_RまたはQ_Lのfactorの有意度としてsum of squareが差し引かれてしまっている可能性があります。問題は、Q_Rが高いときにはactionがRになる確率が高いということで、二つの独立変数(この場合Q_Rとa)の相関係数が高いときにその両者を使って従属変数のニューロンの発火頻度をregressしようとするとregressionは不正確もしくは不安定になります。いわゆるmulticollinearityの問題です。また、前述の通り、行動選択率に極端な偏りがあるため、それぞれのブロックでのactionのデータ数にも極端な偏りがあります。たとえば、[90-50 / 50-90] * [a=left / a=right]のマトリックスを作ってやると、おそらくデータ数nは[9:1:1:9]のような偏りができているはずです。このような状態では正確なfittingは難しくなりますし、そもそもinteractionを考えないとまずい場面です。SASなどではinteraction termの計算法にtype IIとtype IIIとがあり、どちらの立場を取るか(個々のニューロンのデータに等しい重みを付けるか、マトリックス間で重みを等しくするか)によって大きく結果が変わってくることがあるということも知られています。このパラグラフで指摘した点は、caudateニューロンがaction valueをコードしているのか、action selectionをコードしているのか、という検証に直接関わるので深刻な問題ではないか、これが私の意見です。とはいえ、以上のことがわたしの勘違いに基づいている可能性がありますので、もう少し考えてみようかと思います。次回につづきます。

一つ追加。違った言い方をするならば、delta-Q = actionであることと、Q_RやQ_Lとは独立にactionのtermをモデルに入れることあたりの問題にもなります。つまり、Firing rate = Q_R + Q_L + Q_R * Q_Lというモデルを考えるとinteraction termはaction selectionのことになるのです。著者はdelta-Qはaction selectionとも言える、というようなスタンスを取っているように見えますが、parsimonious性を考えるならば、「実際に取ったaction」で説明できるときは「左右のvalueの差」で説明することは断念しなければならないでしょうし。うーむ、前にもこういうシチュエーションあったな。実験デザインとしては要因Aと要因Bとのfactorial designなのだけれど、要因Aと要因Bのinteractionじたいが別の要因として捉えることが可能である、というもの。マトリックスにするなら、[A * B]で効果が[1,1;0,0]なら要因Aのmain effect、効果が[1,0;1,0]なら要因Bのmain effect、でも、[1,0;0,1]のときがあって、本当は要因Cを考えるのがいちばん良かった、という場合の要因A、B、Cの関係の問題ってやつ。

さらに追加。上のパラグラフ、正確でないですな。delta-Qは定義上(Fig.3Aでのsacattered plot上で分類しているものと思われます)、Q_RとQ_Lと両方の要因が有意でかつeffectの向きが逆のものだから、上の様式でeffect sizeを書くならば、[1,0;0,-1]のようなものになり、かならずしもinteractionがあるとは限らない。もう少し考えてみます。