« リルケの「ドゥイノの悲歌」と「開かれ」 | 最新のページに戻る | 「バ ディヤ、フルヘッヘンド、ウォウ〜」(さうして、このごろ2021年11-12月版) »

■ ベイズ更新

ベイズ更新では、そのつど与えられたデータから計算した事後分布を、次のデータが与えられたときは事前分布として使うことで、事後分布を逐次更新してゆく。

たとえば一定のパラメーター を持つ生成過程(たとえば2項分布)から生成されるデータ があったとすると、ベイズの定理より、

となる。これはデータ を一挙に与えられた場合だけど、代わりにデータ をひとつずつ順番に取得して事後分布を更新するのがベイズ更新。まず から始めると、

こうしてできた事後分布 を次の事前分布 のところに入れる。(分母のevidenceは に依存しない定数なので で表記しておく。)

なんでそんなことが可能かというと、 を持つ生成過程から生成されるデータ が独立だから、という仮定が入ってる。単純化するために の2つだけで考えてみる。

もしここで を与えたものでの の条件付き独立

が成り立つなら、

となり、事後分布 を次の事前分布 に代入したものになってる。

分母は定数なのでこのままで十分だけど、もしさらに の独立

が成り立つなら、

となって、分母もきれいになる。条件付き独立が成り立っても、独立は必ずしも成り立たないので、いちおう分けて考えた。でも元々の設定「一定のパラメーター を持つ生成過程(たとえば2項分布)から生成されるデータ 」からすると、たぶん独立も成り立つ。つまり、 を選ぶ順番変えても成り立つということだから。

ここまでの話はパラメーター が一定であることを前提としていた。途中で が変わる場合は成り立たない。そういう場合は をそのつど推定するべきhidden variableとして扱うことになる。

StackExchangeにあるとおりだけど、ふたたび だけの例で書くと、

こうなるので、事前分布 * 尤度 ではなくなって、transition process を考慮する必要が出てくる。

参考:

お勧めエントリ

月別過去ログ

[2024]
5|
4|
3|
2|
1|
[2023]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2022]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2021]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2020]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2019]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2018]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2017]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2016]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2015]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2014]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2013]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2012]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2011]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2010]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2009]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2008]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2007]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2006]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2005]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2004]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2003]
12|
11|
8|
7|
[2001]
10|
8|
6|
5|
4|
2|
[2000]
12|
9|
8|
7|
6|
3|
2|
1|
[1999]
9|
8|
7|