« Google Chart Tools のAPIで数式 | 最新のページに戻る | あるカレー屋の思い出 »
■ シェイピングの十の法則
私たちの実験で非常に重要だけど体系化されていないものに、被験者のトレーニングがあります。
基本的にオペラント条件で教えてゆくので、スキナーの行動分析について知っておく必要があるのだけれど、トレーニングに特化したものというのがないんです。それで、みんな試行錯誤でそれぞれにやり方を確立してゆくというところがあって、体系化されていません。
一時期いい教科書がないか論文などをあさってみたことがあるのだけれど、ほぼ皆無です。(採血を自発的にやる方法を確立したViktor Reinhardtの仕事などはありますが、システム神経科学でcognitiveな課題遂行中のニューロン活動を記録するためのトレーニングというのはほとんど見たことがありません。)
私が唯一知っているのは、一般書ですが、「うまくやるための強化の原理」カレン・プライア著 というものです。
カレン・プライアはイルカのトレーニングにオペラント心理学に基づいた方法を導入し、犬でのクリッカートレーニングなどでも本を出してます。たしかに、犬のしつけ法とかのあたりも参考になりそうだ。
でもって、この本あんまり見かけないんで(わたしはbookoffで100円で買った)、このなかにある「シェイピングの十の法則」というのをメモっておくことにしましょう。
- 十分な数の強化が得られるように、基準を少しずつ上げよ。
- 一時に一つのことだけを訓練せよ。
- 基準を上げる前に、現在の段階の行動を変動強化で強化せよ。
- 新しい基準を導入するときには、古い基準を一時的にゆるめよ。
- 相手をたえず観察せよ。
- 一つの行動は一つのトレーナーが教えよ。
- 一つのシェイピング手続きをやっていて進歩しないときには、べつにやり方を見つけよ。
- 訓練をむやみに中断してはいけない。
- 一度できた行動でも、またできなくなることがある。そのときは、前の基準に戻れ。
- 一回の訓練は、できれば調子が出ているときに止めよ。
これはどれも自分の経験と照らし合わせて、だいたい納得がいきます。基本はなにより「相手をたえず観察せよ。」ですけどね。
このくらいであっさり終了とします。ではまた。
追記：こちらにも類似したことが書いてありました：ABA（応用行動分析）
# 桑原
僕もサルを使っているので最近ですが読んでみました。飼い犬から配偶者まで、っていう副題がなんともたまらないなと思いました。
# pooneil３のところはどう思われますか？たまに休んでいるときとかモチベーションが低い時にBIG REWARDをあげるとしばらく頑張って正答率も上がるのは感じますが、長期的に見てどうなのかはまだまだ経験が浅くて分からないところです。
１０番も難しいですよね？より高く跳んだら良い、みたいな状況だと、トレーニング終了自体大きな報酬ですしよく効きそうな感じがしますが、僕らの場合やっぱり長くタスクを続ける事が重要なことなので難しいとこじゃないですか？
どうもありがとうございます。
たぶん、イルカに芸を教えるような状況だとどんどん新しいことをやっていく必要があるけど、我々のトレーニングの場合、fixationの時間をじりじり延ばしてゆくとか、かなり漸次的にやってかなければならないところが多いのが違いかと思います。
新しい課題をできるようになること(たとえばvisually guided saccade taskからmemory-guided saccade taskへの移行)とタスクのパラメータの漸次的に変化させてゆくこと(recordingのためにtrial数を多くできるようにするとか、fixationの時間を伸ばしてゆくとか)とは別ものですが、ここでのシェイピングの法則は新しい課題をできるようにする状況で特に重要なこととなるかと思います。
3での変動強化はFRではなくてVRにするということですから、われわれの課題のようにtrialごとにrewardをあげる条件でrewardの上げ下げをするのとは別ものだと思います。
# 桑原10に関してですが、たとえば、セッションの後半では新しいことをやらせずに同じパラメータで回数こなすことに専念すべき、というようなことに繋がるかと思います。
大変勉強になりました。ありがとうございました。やはりVRを使いこなせるトレーナーは数少ないともありましたし、我々の状況ではあまり使えないようですね。
# pooneilVRとかVIのような変動強化スケジュールはもっと活用する価値があると思ってます。これまで使われてきたのは、もっぱら強化学習関連に直結した仕事(設楽先生のとか、鮫島さんのとか)だったわけですけど、たぶんもっと普通のトレーニングでも活用できるんじゃない買って思ってます。
# pooneilわれわれはだいたいtrialごとにrewardをあげてますけど、被験者はそんなにtrialごとのフィードバックを使ってるわけでもなさそうです。私たちトレーナーの方が、大人の人間にものを教えるときの方法に縛られているだけなのかもしれません。
以下は神経科学者SNSに書いたことの転載：子供のしつけでも共通性を感じることがあります。5に関して言えば、相手をよく見ておくことは重要だけど、おもねってしまうのはよくない。こちらの基準がふらつくのは良くないので、どのタイミングで基準をいじるか、ここが腕の見せ所だったり、個人差が出るところだったりすると思ってます。