pooneilの脳科学論文コメント

■ Current Bliology 4/12 神経経済学

"Single Units in the Pigeon Brain Integrate Reward Amount and Time-to-Reward in an Impulsive Choice Task."
神経経済学(Neuroeconomics)関連。Pigeonのprefrontal cortexアナログので電気生理。しかも"rewards' subjective values"ときました。すぐ手に入る小さい報酬と待たなければならないけど大きい報酬、どちらを選ぶかという課題。全体として得られる報酬量を最大化するよりは、時間遅れをどのくらい評価するかという重み付け(discounting function)によって選択が影響を受ける、という意味で"subjective value"なわけですな。
この論文へのコメンタリはこちら："Neuroeconomics: The Shadow of the Future."
課題としてはこんな感じ：被験者はlarge rewardかsmall rewardかのどちらかの選択をさせられる。その選択をしてからじっさいに報酬が与えられるまでの待ち時間はsmall rewardでは一定(1.5sec)、large rewardではblockごとに決まっていて、blockごとにだんだん長くなってくる(1.5sec-48sec)。だから、はじめの方のblockでは被験者はlarge rewardばかりを選ぶのだけれど、あとの方のblockになるとlarge rewardを選んだ場合に待ち時間が長いことがわかっているのでどっかでsmall rewardを選ぶように方針転換するわけです。
ニューロンのデータの結果：この待ち時間のあいだのニューロン活動を記録すると、はじめの方のblock(Fig.3Aのblock-3、余裕でlarge rewardを選択)では待ち時間のあいだのニューロン活動が大きいのに対して、つづくblock(Fig.3Aのblock-1、だんだんlarge rewardを選んでてよいものかどうか迷いのある状態)ではニューロン活動が小さくなってくる。さらにある時点でlarge rewardを選ぶのをやめてsmall rewardを選ぶことにするとニューロンの活動はもうblock(Fig.3Aのblock1-3)によって変化がない。じっさい、small rewardを選ぶと1.5sec後に必ず報酬が得られるわけだから。おもしろいのは、block1-3の時の活動の方がsmall rewardを選択しているにもかかわらずblock-1のとき(large rewardを選択)より活動が大きいのですな。Block-1で被験者はなんか損してるなと思いつつlarge rewardを選んでいる、という感じがしているに違いない。そういう感情移入をしてみると、なんかsubjectiveなvalueをコードしてる感じがしてきます。
話を戻して、結果のまとめ：というわけでこのニューロンはたんにlarge rewardを選んだかsmall rewardを選んだかということだけでなく、large rewardを選んでからどのくらい待てばrewardが得られるか(time to reward)、という情報も持っている、というのが著者らの主張です。この解釈が唯一なものかどうかはわかりません。とくにcriticalな差がblock間の差でランダマイズされていない、しかもlarge rewardからsmall rewardへ転換、という順番が固定されているがゆえに何らかの系統的な変化が起こっていてもおかしくないわけだし。
"Time to reward"に関連するものという意味ではこのあいだのShadlenのNature Neuroscience '05 "A representation of the hazard rate of elapsed time in macaque area LIP."あたりとも結びつけて考えてみたい感じがします。じっさい、Fig.3Aのblock -3や-2で現れるピークなんかはなんか意味ありげに見えるし。
将来の利益を得ようとせずに目先の欲望に惑わされてしまう"Impulsive Choice"という文脈で、関連する課題がCardinal et al. Science '01 "Impulsive choice induced in rats by lesions of the nucleus accumbens core."で使われていることを20040704のmmmmさんがコメント欄で紹介していました。また、human fMRIではJonathan D. CohenのScience '04 "Separate Neural Systems Value Immediate and Delayed Monetary Rewards."や銅谷さんのNature Neuroscience '04 "Prediction of immediate and future rewards differentially recruits cortico-basal ganglia loops."がimmediate rewardとfuture rewardという問題を扱っています。
Discounting functionがhyperbolicかexponentialか、という話題については20040704のmmrlさんのコメントで言及されてましたね。あの時点で私がぜんぜん論点を理解してなかったことがいまさら丸わかりなわけですが。なお、今回の論文ではpopulationとしてはhyperbolicの方がニューロンのデータをよく説明できる、ということのようです（Fig.4Cみるとあんまり差がないけど）。
なお、以上のコメントは論文の図だけ読んで書いていることを白状しときます。