« 神経科学学会大会 | 最新のページに戻る | Nature 7/28 »

■ 線条体とQ-learning

20050730のエントリにmmmmさんからコメントがついています。ATRの鮫島さんのポスターに関してですが、mmmmさんは線条体がActor-CriticではなくてQ-learningであることを生理学的に証明したことを評価しています。

鮫島さんが学会で発表されたことについては大脳基底核-強化学習モデルによる線条体神経細胞活動の記録と予測(pdf)で一部公表されているようなのでこれに基づいて議論しますが、この論文ではこの点が明確に書かれています。つまり、Actor-Criticだと線条体で行動選択そのものがrepresentされていると予言するのに対して、Q-learningでは線条体で行動選択肢の報酬予測がrepresentされると予言するというわけです。なるほど。

ニューロンのデータに基づいた議論はつづきの論文が出てから、としたほうがよいでしょう。

ところで、そもそもわたしはActor-CriticとQ-learningの概念がぜんぜんわかっていないので、参考になりそうな資料をメモっておきます。

ATRの鮫島　和行さんによる関連論文：

Sutton and Bartoの"Reinforcement Learning: An Introduction"のhtml版から：

東工大の木村 元氏によるもの：

同志社大の中村　康昭氏によるもの：

お勧めエントリ

月別過去ログ

[2024]
5|
4|
3|
2|
1|
[2023]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2022]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2021]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2020]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2019]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2018]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2017]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2016]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2015]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2014]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2013]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2012]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2011]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2010]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2009]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2008]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2007]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2006]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2005]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2004]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2003]
12|
11|
8|
7|
[2001]
10|
8|
6|
5|
4|
2|
[2000]
12|
9|
8|
7|
6|
3|
2|
1|
[1999]
9|
8|
7|