[月別過去ログ] 2008年06月

« 2008年05月 | 最新のページに戻る | 2008年07月 »

2008年06月24日

■ skyさんからのコメント

Sugrue論文に関するスレッドにskyさんからコメントをいただきました：20060412。どうもありがとうございます。読者の方の目に触れやすくするために以下に転載させていただきました。論文にリンクできるところに関しましてはリンクをつけておきました。(Vaughan & Herrnstein (1981)はPubMedだと見つかりませんでしたが、William Vaughan "Melioration, matching, and maximization" J Exp Anal Behav. 1981 September; 36(2): 141–149.のことでしょうか？)

ついでながらここでVaughan & Herrnstein関連への言及のあるwebサイトを紹介しておきます：

さて、それではここからskyさんのコメント：

調べ物をしていたら、このサイトにヒットしました。近年、私が行っていた話題を、こんなところで議論されていたのか、と思って驚いています。あの頃、気付いていれば、議論に参加できたのに、と思っています。

ずいぶん時が経ってしまって申し訳ありませんが、Sugrue(2004)論文に関してここで行われた一連の議論に抜け落ちている点、Soltani & Wang (2006) に対する評価をここで、追加しておこうと思います。

Soltani & Wang (2006) について

彼らのモデルは、状態変数がないQ-leaningをシナプス学習則で実現するモデルとなっており、選択比と強化比の関係は課題と学習パラメータに依存します。したがって、Matching law を実現するモデルでもMeliorationでもありません。逆にその性質を利用してMatching からのずれである undermatching を再現しているかのように見せています。

私は彼らのモデルをQ-leaning及びその亜種をシナプス学習則で実現するモデルとして評価しています。しかし、Matching law とは何の関係もありません。

Matching law を実現するシナプス学習則は、Loewenstein & Seung (2006) が、報酬と行動関連神経活動の間の共分散に比例する "covariance rule" として、一般則を提案しています。

Matching Task について

報酬量を同じにした並列VI-VIスケジュールが、Matching と Maxmizing を区別できる課題ではないことはmmrlさんに指摘されている通りです。また、報酬量を選択肢によって変えた並列VI-VI（Baum & Rachlin 1969）でも、並列VI-VR（Herrnstein & Heyman 1979）でも、DeCarlo(1981)課題でも、Mazur(1985)課題でも、Matching と Maximizing の区別はできますが、区別しやすい課題パラメータを選ぶと、構造的に交互選択がランダム選択より得になりがちで、交互選択をさせないために Change Over Delay もしくはそれに類した、交互選択に対するコストを導入しており、問題を難しくしているばかりか、無理やりMatching Behaviorを出させている印象を与えています。

並列VI-VI,VI-VR,VR-VRの間を連続的につないで包括する競合的採餌課題(Sakai & Fukai 2008)では、交互選択が得にはならないで、Matching と Maximizing が区別できるパラメータはありますが、最適行動がランダム選択でない点は上記課題と共通です。

しかし、Meliorationを提案したVaughan & Herrnstein (1981) は、もっと強力な課題を考案しており、実際、Matching law 及び Melioration を支持する結果を出しています。Vaughan課題は、各選択肢の報酬確率 P(r|a) を、過去の一定期間に被験者がその選択肢 a を取った頻度 N_a に依存して、 

P(r|a)=f_a(N_a)

と決める課題です。つまり報酬確率は直前一定期間の選択頻度に応じて変化します。平均獲得報酬は選択頻度のみに依存し、Localな選択順序に依りません。関数 f_a をデザインすることで、最適な選択頻度、Matching law が成り立つ選択頻度を自由に設定できます。Matching を議論するのに適した素晴らしい課題だと思います。しかし、あまりこの課題を使っているのを目にしません。

最近でもMatchingを議論するのに皆、なぜか並列VI-VIを使いがちですが、上述のようにあまり適した課題ではありません。皆さん、Vaughan課題を使いましょう。

強化学習アルゴリズムとの関係について

強化学習アルゴリズムにも、Matching law を示すものがあります(Sakai & Fukai 2008)。Actor-Critic は、課題や学習パラメータに依らず、定常状態でMatching law を示します。ところが、Q-learning は、課題や学習パラメータに依存し、一般にはMatching law を示しません。

2008年06月09日

■ 生理研研究会2008のサイトをオープンしました

生理研研究会 「認知神経科学の先端」ですが、昨年は京大の小川正さんとともに「注意と意志決定の脳内メカニズム」と銘打って2007年10月11-12日に開催されました。第一回にもかかわらず多くの方にお集まりいただきまして感謝しております。そのときの当ブログでの予習とかレポートとかのスレッドがこちら：[カテゴリー別保管庫] 生理研研究会「注意と意志決定の脳内メカニズム」

さて、今年も研究会をやります。今年は玉川大学の松元健二さんとともに「動機づけと社会性の脳内メカニズム」というタイトルで行います。日程は2008年9月11-12日。研究会のサイトをオープンしました。こちら：生理研研究会 「認知神経科学の先端 動機づけと社会性の脳内メカニズム」

講演者の方も確定しました。今年は6人の方にお願いしています。敬称略にて：

大まかに分けると「動機づけ」パートが南本さん、出馬さん、村山さんで、「社会性」パートが細川さん、守口さん、遠藤さんです。それぞれのパートに動物実験、ヒトでの実験、教育心理の方に入っていただきました。動機付け、社会性、ともにどうやって実験の形に持ち込めばいいか、ということがなによりも難しいところだと思います。そこで、実験を通してアプローチしている先生方に加えて、社会心理の先生方にトークをしていただくことで動機付け、社会性という概念の広さを踏まえた議論ができるようにと配慮しました。

指定討論者の先生方もまたあらためてお願いしますので、依頼された方はぜひ引き受けてガンガン質問、議論してください。今回も途中質問有りにしておきたいと思いますが、総合討論の場を作ってもっとgeneralな議論ができたらいいんではないかと考えています。でも、いわゆる学会のパネルディスカッションみたいにすると盛り上がらない。たんに補足質問タイムになってしまう。だから、なんか煽り気味のネタを用意したり、あらかじめ募集しておいたりしたらどうかと考えています。たとえば、「動機づけって概念はほんとうに必要か? すべては報酬による意思決定ではないのか」とか。ふつうだったら紛糾して時間切れになるようなネタを30分かけて議論できたらいいんではないかと思います。このへんの形式についてはまた計画ができたら発表したいと思います。

それでは、みなさまぜひお越しください。

お勧めエントリ

  • 細胞外電極はなにを見ているか(1) 20080727 (2) リニューアル版 20081107
  • 総説 長期記憶の脳内メカニズム 20100909
  • 駒場講義2013 「意識の科学的研究 - 盲視を起点に」20130626
  • 駒場講義2012レジメ 意識と注意の脳内メカニズム(1) 注意 20121010 (2) 意識 20121011
  • 視覚、注意、言語で3*2の背側、腹側経路説 20140119
  • 脳科学辞典の項目書いた 「盲視」 20130407
  • 脳科学辞典の項目書いた 「気づき」 20130228
  • 脳科学辞典の項目書いた 「サリエンシー」 20121224
  • 脳科学辞典の項目書いた 「マイクロサッケード」 20121227
  • 盲視でおこる「なにかあるかんじ」 20110126
  • DKL色空間についてまとめ 20090113
  • 科学基礎論学会 秋の研究例会 ワークショップ「意識の神経科学と神経現象学」レジメ 20131102
  • ギャラガー＆ザハヴィ『現象学的な心』合評会レジメ 20130628
  • Marrのrepresentationとprocessをベイトソン流に解釈する (1) 20100317 (2) 20100317
  • 半側空間無視と同名半盲とは区別できるか？(1) 20080220 (2) 半側空間無視の原因部位は？ 20080221
  • MarrのVisionの最初と最後だけを読む 20071213

月別過去ログ

[2024]
5|
4|
3|
2|
1|
[2023]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2022]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2021]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2020]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2019]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2018]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2017]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2016]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2015]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2014]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2013]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2012]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2011]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2010]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2009]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2008]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2007]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2006]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2005]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2004]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2003]
12|
11|
8|
7|
[2001]
10|
8|
6|
5|
4|
2|
[2000]
12|
9|
8|
7|
6|
3|
2|
1|
[1999]
9|
8|
7|
« 2008年05月 | 最新のページに戻る | 2008年07月 »