pooneilの脳科学論文コメント

まだ途中までしか読んでいませんが、matching lowを分かりやすく解説してくれてありがとうございます。確かこの仕事ではVI (variable interbal) scheduleを採用していたと思うんですが（要確認）、この効果が最適解を採らない戦略を可能にしていると思われます。つまり、そろそろ別のターゲットを選んだ方が報酬を貰える確率が高いはずだということをサルが予想している可能性があります。サルの行動制御をうまく工夫したところだと思いますが、この可能性をどう著者らが考慮しているかは検討に値するように思います。
いや、もしかしたらmatching lawが最適解と一致するデザインになっているかもしれない。

コメントどうもありがとうございます。”Variable interval schedule”がキーワードですか。そのへん調べてみます。どうもありがとうございます。mmmmさんのおっしゃるように、一日のセッションの中で左右のincomeが逆転するところがあることが必須なのでしょう。もし一日中ずっと一定のincomeの比率をキープしたとしたら選択は最適解を選ぶか、という問題でしょうね。これはかなり基本的な事項のようなので、探せば関連する記述を見つけられそうです。
また、Fig.1Cの星印にあるように、実際にはかなりlocalな変動によって選択のbiasが引きずられる（Fig.2Cにあるように最近10trial分ぐらいしかincomeとして考慮していない）、ということからしても、あんまりblock単位でのincomeのbiasを確信もって把握している感じではなさそうです。だからincomeの比率が左右で1:6のblock中にたまたま左でジュースがもらえることが連荘で続いたら、左への選択biasが一時的に上がる、ということが起こっているのでしょう。mmmmさんが言ってることと本質的には同じことですが。

お久しぶりです。ゲーム理論と聞いて、ムムッと感じたのですが、話は至ってオーソドックスそう（って当たり前か）。本文読んでいないのですが、前後関係の要素はどう処理、解析してるのでしょうかね。

どうもご無沙汰しております。ゲーム理論、と書いたのは私の早とちりでして、matching lawはどちらかというと行動分析学の分野のものであるようです。ゲーム理論的なアプローチは昨日挙げたNature Nueorscience ’04のほうでした。Nash equilibriumなんて言葉が出たりしてます。あと、今回の論文はオーソドックスすぎて、Platt and Glimcherがやったこととほとんど等価なようにも思えます。つまり、Platt and Glimcherが見つけたreward probilityやらtarget probabilityをコードするLIPニューロンがNewsomeのやったようなincome (= reward probility * target probability)をコードしているのはほとんどあたりまえのようにも思えるわけです。あとはどっちがニューロンの活動のbetter predictorであるかという問題だ、というDayanの言い方に私は賛成です。それから、「前後関係の要素」っていうのはよくわからなかったんですが、incomeの比率を変えたブロック間の順序効果のことでしょうか？

今朝、駆け足で通読しましたが、強化スケジュールについての正確な記述（VI, FI, VR, or FR?)は見つけられませんでした。昨年だったか、理研でやったNewsomeのトークでは確かVIだと言ってたんですが。）
この論文の肝は、コントロールタスクではLocal incomeの影響がまったく現れないけれども、matching taskでははっきり現れる、ということのように思います。matching lawとの対応付けに焦点を持ってきたために、この重要な点が薄れてしまった印象を受けます。Matching lawと行動とLIP activityとの対応をきちんとつけるためには、タウの値を変えてneuronal activityを見ると、local fraction incomeとの相関が落ちる、つまり行動でも神経細胞活動でも、最適なタウは一致する、ということを言う必要があるように思います。ただ、ブロックによって、日によって、タウが変わる可能性が高いだろうから、これもできれば押さえたいところ。まあ、これに関連したことがdiscussionで簡単に触れられてはいますが。

なるほど、すばらしいコメント、ありがとうございます。こういう書き込みがあるので日記やっててよかったと思います。大感謝。んでもって、レイノルズのオペラント心理学入門をざっと見てみましたが、今回の論文のはたしかにVIに対応するもののように思えました。いまだポイントがよくわかってはいないのですが、もう少し勉強してみます。
それから、コントロールタスクとマッチングタスクとでのincomeのLIP activityへの影響の違い（Fig.3C vs. Fig,4B）、なるほど納得しました。Platt and Glimcherとの違いもこのへんから議論できそうですね。というわけでもう少しそのへん読んでからコメントします。もうしばらくお待ちください。
あ、もちろん、「私が返事するまで書きこむな」という意味ではありません。何かありましたらまたどうぞ。

横から失礼,まちがえてかきこんでしまいました、scheduleに関してはVIでよさそうです。昨年のneuroscience meetingでのポスターでも本人がそういっていたのを記憶しています。また、すでに気づいているかもしれませんが、：”Matching and maximizing are two ends of a spectrum of policy search algorithms.”が自分のlectureをｒｍで公開していて、その中でも「最近査読したのだが」とことわってこの論文について説明しています。一見してみてはいかがでしょう？

mmrlさん、ありがとうございます。すごい助かりました。H. S. Seungですね。rmってのがわからなかったのですが、http://hebb.mit.edu/courses/9.29/2004/lectures/index.html ここから探したどこか、ということでしょうか？ 是非知りたいので教えてください。しかしここにはHerrnsteinの論文とかが載ってて劇的に助かります。

ええ、それですね、その中のlecture 6の中でLeoの論文について触れています。学部生向けの講義かもしれませんが、かなりやさしいところからふれてくれていて、問題のHerrensteinの論文も解説してくれてます。lecture 7と8の前半あたりでは、参考文献にあげられていたSeung自身の学習モデルの話を解説しています。そのあとは、どうやらゲーム理論の話をはじめていましたが、その後まで到達していません。Leeさんの話も出てくるのかな？それから、rmというのは realvideoというリンクをクリックするとreal playerで視聴できるということです。しかしこの人査読したからって、未発表論文の解説をwebで公開するってのはよいんだろうか...

mmrlさん、ありがとうございます。realvideoのことですね。失念しておりました（昔インストールしたreal playerは消してしまった）。聴いてみます。Newsome論文のacknowledgementにH. S. Seungって入っているんですよね。ということはあらかじめSeungに読ませておいてからrefereeとして廻ったということだろうか。それならうまくやった、という感じかもしれない。もう一人のrefereeは神経生理学者として、三人目に本当のmatching lawの専門家（HerrnsteinとかMazurとか）がrefereeに入ってたかどうか重要そうです。
この論文に関するコメントを再開しました（6/29）。あと2、3日続く予定です。