pooneilの脳科学論文コメント

■ ベイズ更新

ベイズ更新では、そのつど与えられたデータから計算した事後分布を、次のデータが与えられたときは事前分布として使うことで、事後分布を逐次更新してゆく。

たとえば一定のパラメーター $\theta$ を持つ生成過程(たとえば2項分布)から生成されるデータ $y_1, y_2,...,y_n$ があったとすると、ベイズの定理より、

$$p(\theta | y_1, y_2,...,y_n) = \frac{p(y_1, y_2,...,y_n | \theta) p(\theta)}{p(y_1, y_2,...,y_n)}$$

となる。これはデータ $y_1, y_2,...,y_n$ を一挙に与えられた場合だけど、代わりにデータ $y_1, y_2,...,y_n$ をひとつずつ順番に取得して事後分布を更新するのがベイズ更新。まず $y_1$ から始めると、

$$p(\theta | y_1) = \frac{p(y_1 | \theta) p(\theta)}{p(y_1)}$$

こうしてできた事後分布 $p(\theta | y_1)$ を次の事前分布 $p(\theta)$ のところに入れる。(分母のevidenceは $\theta$ に依存しない定数なので $D_i$ で表記しておく。)

$$\begin{align} p(\theta | y_1, y_2) &= \frac{p(y_2 | \theta) p(\theta | y_1)}{D_2}\\ p(\theta | y_1, y_2, y_3) &= \frac{p(y_3 | \theta) p(\theta | y_1, y_2)}{D_3}\\ p(\theta | y_1, y_2,...,y_n) &= \frac{p(y_n | \theta) p(\theta | y_1, y_2,...,y_{n-1})}{D_n}\\ \end{align}$$

なんでそんなことが可能かというと、 $\theta$ を持つ生成過程から生成されるデータ $y_1, y_2,...,y_n$ が独立だから、という仮定が入ってる。単純化するために $y_1, y_2$ の2つだけで考えてみる。

$$\begin{align} p(\theta | y_1, y_2) &= \frac{p(y_1, y_2 | \theta) p(\theta)}{p(y_1, y_2)} \end{align}$$

もしここで $\theta$ を与えたものでの$y_1, y_2$ の条件付き独立

$$p(y_1,y_2|\theta) = p(y_1|\theta)p(y_2|\theta)$$

が成り立つなら、

$$\begin{align} p(\theta | y_1, y_2) &= \frac{p(y_1, y_2 | \theta) p(\theta)}{p(y_1, y_2)}\\ &= \frac{p(y_1|\theta)p(y_2|\theta)p(\theta)}{p(y_1, y_2)}\\ &= \frac{p(y_2|\theta)p(y_1|\theta)p(\theta)}{p(y_1, y_2)}\\ &= \frac{p(y_2|\theta)p(\theta|y_1)p(y_1)}{p(y_1, y_2)}\\ &= \frac{p(y_2|\theta)p(\theta|y_1)}{p(y_1, y_2)/p(y_1)}\\ \end{align}$$

となり、事後分布 $p(\theta | y_1)$ を次の事前分布 $p(\theta)$ に代入したものになってる。

分母は定数なのでこのままで十分だけど、もしさらに$y_1, y_2$ の独立

$$p(y_1,y_2) = p(y_1)p(y_2)$$

が成り立つなら、

$$\begin{align} p(\theta | y_1, y_2) &= \frac{p(y_2|\theta)p(\theta|y_1)}{p(y_1, y_2)/p(y_1)}\\ &= \frac{p(y_2|\theta)p(\theta|y_1)}{p(y_1)p(y_2)/p(y_1)}\\ &= \frac{p(y_2|\theta)p(\theta|y_1)}{p(y_2)}\\ \end{align}$$

となって、分母もきれいになる。条件付き独立が成り立っても、独立は必ずしも成り立たないので、いちおう分けて考えた。でも元々の設定「一定のパラメーター $\theta$ を持つ生成過程(たとえば2項分布)から生成されるデータ $y_1, y_2,...,y_n$ 」からすると、たぶん独立も成り立つ。つまり、$y_1, y_2$ を選ぶ順番変えても成り立つということだから。

---

ここまでの話はパラメーター $\theta$ が一定であることを前提としていた。途中で $\theta$ が変わる場合は成り立たない。そういう場合は $\theta$ をそのつど推定するべきhidden variableとして扱うことになる。

StackExchangeにあるとおりだけど、ふたたび $y_1,y_2$ だけの例で書くと、

$$\begin{align} p(\theta | y_1, y_2) &= \frac{p(y_1, y_2 | \theta) p(\theta)}{p(y_1, y_2)}\\ &= \frac{p(y_2 | y_1,\theta)p(y_1|\theta) p(\theta)}{p(y_1, y_2)}\\ &= \frac{p(y_2 | y_1,\theta)p(\theta|y_1)}{p(y_1, y_2)/p(y_1)} \end{align}$$

こうなるので、事前分布 * 尤度 ではなくなって、transition process $p(y_2 | y_1,\theta)$ を考慮する必要が出てくる。

参考:

• ベイズ更新
• 15分でわかる(範囲の)ベイズ統計学
• Bayesian inference From Wikipedia
• StackExchange

お勧めエントリ

• 細胞外電極はなにを見ているか(1) 20080727 (2) リニューアル版 20081107
• 総説 長期記憶の脳内メカニズム 20100909
• 駒場講義2013 「意識の科学的研究 - 盲視を起点に」20130626
• 駒場講義2012レジメ 意識と注意の脳内メカニズム(1) 注意 20121010 (2) 意識 20121011
• 視覚、注意、言語で3*2の背側、腹側経路説 20140119
• 脳科学辞典の項目書いた 「盲視」 20130407
• 脳科学辞典の項目書いた 「気づき」 20130228
• 脳科学辞典の項目書いた 「サリエンシー」 20121224
• 脳科学辞典の項目書いた 「マイクロサッケード」 20121227
• 盲視でおこる「なにかあるかんじ」 20110126
• DKL色空間についてまとめ 20090113
• 科学基礎論学会 秋の研究例会 ワークショップ「意識の神経科学と神経現象学」レジメ 20131102
• ギャラガー＆ザハヴィ『現象学的な心』合評会レジメ 20130628
• Marrのrepresentationとprocessをベイトソン流に解釈する (1) 20100317 (2) 20100317
• 半側空間無視と同名半盲とは区別できるか？(1) 20080220 (2) 半側空間無視の原因部位は？ 20080221
• MarrのVisionの最初と最後だけを読む 20071213

月別過去ログ

[2024]

5|

4|

3|

2|

1|

[2023]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2022]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2021]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2020]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2019]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2018]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2017]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2016]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2015]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2014]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2013]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2012]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2011]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2010]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2009]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2008]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2007]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2006]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2005]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2004]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2003]

12|

11|

8|

7|

[2001]

10|

8|

6|

5|

4|

2|

[2000]

12|

9|

8|

7|

6|

3|

2|

1|

[1999]

9|

8|

7|