pooneilの脳科学論文コメント

■ 「時間は存在しない」、エントロピー、ギブスのパラドックス(3/3)

前回からのつづき。

「エントロピーが観察者に依存している、もっと正確にはどういう熱力学的状態を問題とするかに依存するという話はJaynesとかいろいろある。」と書いたけど、その部分についてまとめる。

E. T. Jayesは"Gibbs vs Boltzmann Entropies (1964)"においてこう書いてる。

thermodynamics knows of no such notion as the “entropy of a physical system.” Thermodynamics does have the concept of the entropy of a thermodynamic system; but a given physical system corresponds to many different thermodynamic systems.

From this we see that entropy is an anthropomorphic concept, not only in the well-known statistical sense that it measures the extent of human ignorance as to the microstate. Even at the purely phenomenological level, entropy is an anthropomorphic concept. For it is a property, not of the physical system, but of the particular experiments you or I choose to perform on it.

エントロピーは「ある物理系」について決まるものではなくて、「熱力学的システム」ごとに決まる。

たとえば「ロッシェル塩(酒石酸カリウムナトリウム)の結晶」について実験を行うとき、実験1では温度と圧力が興味の対象なので、エントロピーは $S(T,P)$ となる。実験2ではひずみと分極が興味の対象なので、エントロピーは $S_e(T,e_{xy},P_s)$ となる。

つまり、「ロッシェル塩の結晶固有のエントロピー」というものがあるのではなくて、熱力学的状態を定義するパラメーターを規定するとエントロピーも規定される。

For example, I have been asked several times whether, in my opinion, a biological system, say a cat, which converts inanimate food into a highly organized structure and behavior, represents a violation of the second law. The answer I always give is that, until we specify the set of parameters which define the thermodynamic state of the cat, no definite question has been asked!

生物(たとえばネコ)は第二法則をviolateするか？というよくある質問に対しても、「そのネコについての熱力学的状態を定義するパラメーターを規定しないかぎり、それは(意味のある)質問になってない」というのが答えだ。

さきほどの粗視化の問題についてWikipediaで調べてみると、MaxEnt thermodynamicsの項目で出てくる。E. T. JayesはMaxEnt thermodynamicsの創始者だ。あとどうやらこのラインの考え方は、QBism(量子ベイズ)にも繋がるらしい。

QBism批判でも人間原理的な主観確率が問題になっているようだけど、上記のロヴェッリが書いたような、あくまでもローカルな相互作用ごとにエントロピーが決まるということならば、人間原理にならないのではないかと思うのだけど、素人なのでまた勉強しながら考える。

---

こういう話題でよく出てくるのが、「ギブスのパラドックス」というものだ。これもまとめておく。

(状況1) 気体Aの入った箱と気体Bの入った箱とをくっつけて繋げるとAとBが混ざる。当然エントロピーも増大する。(状況2) 気体Aの入った箱と同じ気体Aの入った別の箱をくっつけて繋げる。状況2ではおなじAとAなのでエントロピーは増大しないはず。でも計算上は状況1と同じだからエントロピーが増大してしまう。

このスライド(PDF)がわかりやすかった。

この問題の解決法としては、量子力学においては同種粒子が互いに区別できないから、配置数 $W$ を多く数えすぎているために起こる、と考える。よって分配関数 $Z$ を $N!$ で割って補正する。

$$\begin{align} S = k_B \log W = k_BN\frac{\partial}{\partial T}(- T \log Z) \end{align}$$

量子力学的説明に訴えなくても、統計力学的なエントロピーに示量性をもたせるように補正することで解決できる。つまり、熱力学的なエントロピー $S^{td}$ と統計力学的なエントロピー $S^{stat}$ があって、両者の差を決めるambiguity function $f(N)$ がある。

$$\begin{align} S^{td}(T,V,N)=S^{stat}(T,V,N)+k_B f(N) \end{align}$$

$f(N)$ を統計力学的なエントロピーに示量性がなりたつように決めてやると、

$$\begin{align} f(N)=−N\ln N+cN \end{align}$$

この $N\ln N$ の項が、量子力学的説明で粒子を区別できないときに $N!$ で割る補正をすることと同じ役割を果たしている。(Sterlingのapproximationより $N! \approx N\ln N - N$)

「熱力学―現代的な視点から」の田崎晴明氏のサイトにギブスのパラドックスについての記載がある。6/15/2000（木） ここでリンクされている「模範解答」の部分。さらに6/19/2000（月）の記事では、上記のJaynes 1965での「異なる熱力学的状態」と同様なことを書いてる：

熱力学の構造というのは、 マクロな視点を指定したときにはじめて「現れて」くるものなのだ。 マクロな視点として、

• パチンコ玉をいっさい区別しない
• 「○×会館」の玉か「パチンコランド××」の玉かだけは区別する
• すべての玉に番号を振ってきっちり区別する

といった幾通りもの視点が可能であり、 それに応じてもっとも便利な熱力学的な構造を選ぶのがよい。

---

Janyesに加えて、ギブスのパラドックスにおけるエントロピーの意義についてなんどか引用されているのを見かけたのがvan Kampen (1984)で、原文にあたるとこう書いてる。

Thus the paradox is resolved by replacing the Platonic idea of entropy with an operational definition. Quantum mechanics has no bearing on the question.

The question is not whether the particles are identical in eyes of God, but merely in the eyes of the beholder.

N. G. van Kampen, (1984) “The Gibbs paradox,” in Essays in Theoretical Physics, edited by W. E. Parry (Pergamon, Oxford), page 303-312 Google Booksのプレビュー： https://books.google.co.jp/books?id=75Y3BQAAQBAJ&pg=PA303

こちらでも、エントロピーがエネルギーのような物質の特性ではないということが強調されてる。

---

あともうひとつ、今回調べていて面白かったのが、非平衡統計力学とギブスのパラドックスとの関係について。「微小熱力学系におけるGibbsのパラドックス」 この内容についてはPhys. Rev. Lett. 118, 060601に出版されている。arXiv版もあり。

ギブスのパラドックスのうち、熱力学と統計力学との間での整合性の問題(GP-III)の解決法(示量性に訴える)が微小熱力学系では成り立たないのをどうするか、というのがこの論文の問題。示量性の代わりに非平衡統計力学でのゆらぎの定理と絶対不可逆性から前述の補正項 $f(N)$ を決めることができて、

$$\begin{align} f(N)=\ln(1/N!)+cN \end{align}$$

となる、とのこと。情報熱力学を勉強したいと思っていたので、ひとつとっかかりができてよかった。

そういうわけで、最初の疑問からずいぶん遠くまで来たが、途中のギャップを埋めるためには、熱力学、統計力学、情報理論を勉強する必要がある。先は遠いが、まあ永遠に生きるつもりで勉強はしてゆくことにしよう。

■ 「時間は存在しない」、エントロピー、ギブスのパラドックス(2/3)

前回からの続き。

このあたりでいい加減熱力学とかボルツマンの原理とか勉強しないといけないなと悟った。とはいえ教科書でじっくり勉強している時間もないので、ブルーバックスとか入門書を読んで最小限まとめておく。あくまでこれはわたし用のノート。こんなの学部生以来だから30年ぶりかも。

---

「高校数学でわかるボルツマンの原理」を元にしてまとめておく。

[Maxwell-Boltzmann分布(p.156)]

基本セッティング:

• 個々の気体分子のとりうるエネルギー状態: $E_0, E_1, \cdots$
• ぞれぞれのエネルギー状態の気体分子の数: $N_0, N_1, \cdots$
• 分子の総数 $N = \sum_j N_j$
• 総エネルギー $E = \sum N_j E_j$

例: 分子の数が4, 取りうるエネルギー状態が4 (等間隔)

• $E_0=0, E_1=1\epsilon, E_2=2\epsilon, E_3=3\epsilon$
• 総エネルギー $E = 3\epsilon$ の場合に可能な気体分子の数の組み合わせ:

$$\begin{align} \{N_0, N_1, N_2, N_3\} = \{1,3,0,0\}, \{2,1,1,0\}, \{3,0,0,1\} \end{align}$$

• それぞれの組み合わせで取りうる場合の数 $W$

$$\begin{align} W(1,3,0,0) &= \frac{N!}{N_0! N_1! N_2! N_3!} = \frac{4!}{1! 3! 0! 0!} = \frac{4\cdot3\cdot2\cdot1}{1\cdot (3\cdot2\cdot1)\cdot1\cdot1} = 4 \end{align}$$

• 同様にしてすべての組み合わせで

$$\begin{align} W(1,3,0,0) &= 4\\ W(2,1,1,0) &= 12\\ W(3,0,0,1) &= 4\\ \end{align}$$

• この $20=4+12+4$ 通りが同じ確率で分布する(等確率の原理)
• よって一番起こりやすい分布は $\{N_0, N_1, N_2, N_3\} = \{2,1,1,0\}$

[$N$ が大きいときの一般化(p.166)]

• $N_j$ で微分してmaxとなる $\{N_j\}$ を決める
• $W(N_0, N_1,\cdots N_j)$ の代わりに $\log W(N_0, N_1,\cdots N_j)$ をそれぞれの $N_j$ で偏微分して $0$ になる $N_j$ を見つける。

$$\begin{align} \frac{\partial log W}{\partial N_j} = 0 \end{align}$$

• スターリングの公式 $\log N! \approx N \log N - N$ より

$$\log W = N \log N - \sum_j N_{j} \log N_{j}$$

• 偏微分して $=0$ とおくと

$$\frac{\partial log W}{\partial N_j} = -\sum_i \frac{\partial N_i}{\partial N_j}log N_i = 0 \tag{1}$$

• 分子の総数 $N$ は一定なので $N_j$ による偏微分はゼロ

$$\begin{align} \frac{\partial N}{\partial N_j} = \sum_i \frac{\partial N_i}{\partial N_j} = 0 \tag{2} \end{align}$$

• エネルギーの総数 $E$ は一定なので $N_j$ による偏微分はゼロ

$$\begin{align} \frac{\partial E}{\partial N_j} = \sum_i \frac{\partial N_i}{\partial N_j}E_i = 0 \tag{3} \end{align}$$

• 以上の3つの式(1), (2), (3)を使った連立方程式を、ラグランジュの未定乗数法を使って解く。

$$\begin{align} -\sum_i \frac{\partial N_i}{\partial N_j}log N_i + \alpha \sum_i \frac{\partial N_i}{\partial N_j} + \beta \sum_i \frac{\partial N_i}{\partial N_j}E_i = 0 \\ \sum_i \frac{\partial N_i}{\partial N_j} (-log N_i + \alpha + \beta E_i) = 0 \tag{4} \end{align}$$

• (4)が $i$ や $j$ に依存せずに成立する条件は

$$\begin{align} -log N_i + \alpha + \beta E_i = 0\\ log N_i = \alpha + \beta E_i \end{align}$$

• よって各エネルギー状態の分子の分布は $\beta = -\frac{1}{k_B T}$ を入れると、

$$\begin{align} N_i &= \exp(\alpha + \beta E_i)\\ &= C\exp(-\frac{E_i}{k_B T})\tag{5} \end{align}$$

• $C$ を消すために、分子数の総和 $N$ を入れて

$$\begin{align} N = \sum_i N_i &= C\sum_i\exp(-\frac{E_i}{k_B T})\tag{6} \end{align}$$

• 式(5), (6)より $C$ を消すと

$$\begin{align} N_i = \frac{N\exp(-\frac{E_i}{k_B T})}{\sum_i\exp(-\frac{E_i}{k_B T})} = \frac{N}{Z}\exp(-\frac{E_i}{k_B T}) \end{align}$$

• この分母の $Z$ が分配関数。$i$ に依存しない。

$$\begin{align} Z \equiv \sum_i\exp(-\frac{E_i}{k_B T}) \end{align}$$

• つまり、エネルギー総和 $E$ のときに、エネルギーが高い状態 $E_i$ になるほど、存在確率 $N_i/N$ は低くなる。
• 同様に総エネルギーの式も表現できる。

$$\begin{align} E = \sum_i N_i E_i = \frac{N}{Z} \sum_i E_i\exp(-\frac{E_i}{k_B T})\tag{7} \end{align}$$

---

[ボルツマンの原理の導出(p.196)]

エントロピー $S$ (熱力学)と場合の数 $W$ (統計力学)を繋ぐ。

$$\begin{align} S = k_B \log W \tag{8} \end{align}$$

Step 1: ヘルムホルツの自由エネルギー $F$ を統計力学的な $E_i$ で表現する

• $F$ を温度 $T$ で微分(体積 $V$ は一定)

$$\begin{align} F &= E -TS\\ \frac{\partial F}{\partial T} &= -S\tag{9} \end{align}$$

• 式(9)を用いて、$F/T$ を温度 $T$ で微分してから、式(7)の $E$ を代入

$$\begin{align} \frac{\partial}{\partial T}(\frac{F}{T}) &= -\frac{E}{T^2} = -\frac{1}{T^2}\frac{N}{Z} \sum_i E_i\exp(-\frac{E_i}{k_B T})\tag{10} \end{align}$$

Step 2: 微分方程式(10)を解く

$$\begin{align} F = -k_B TN \log Z\tag{11} \end{align}$$

Step 3: 式(9)の $F$ に式(11)を代入する

$$\begin{align} S &= -\frac{\partial F}{\partial T}\\ &= k_B\frac{\partial}{\partial T}( TN \log Z)\\ &= k_B \log W \tag{8} \end{align}$$

---

[ボルツマンの原理の右辺と左辺の関係]

Arieh Ben-Naim (2007) Entropy Demystified, the Second Law of Thermodynamics Reduced to Plain Common Sense, World Scientific, Singapore こちらのページに1章と8章のプレビュー用PDFあり。

この本の8章でボルツマンの原理の右辺と左辺の関係について言及してた。

$$\begin{align} S &= k_B \log W \end{align}$$

左辺の $S$ は熱力学的エントロピーだから単位は $J/K$ で、右辺の $W$ は場合の数だから無次元。両者を合わせるためにボルツマン定数 $k_B$ を掛けてある。だから、熱力学的エントロピーと場合の数の対数(=情報)は別物であるわけだけど、

Recall that temperature was defined earlier than entropy and earlier than the kinetic theory of heat (…) Once the identification of temperature as a measure of the average kinetic energy of the atoms had been confirmed and accepted, there was no reason to keep the old units of K. (p.204-205)

そもそも温度 $T$ は歴史的経緯から単位 $K$ がつけられたけど、$\bar{T} = k_B T$ となるように温度を再定義してやれば、そのような温度 $\bar{T}$ で計算された熱力学的エントロピー $\bar{S}$ は無次元となる。

$$\begin{align} \bar{S} &= \log W \end{align}$$

よってボルツマンの原理の左辺も右辺も無次元でどちらも情報を表しているのだ、と書いてる。

同じ問題について「エントロピーを巡る冒険」(鈴木炎)の3章にも言及があった。ボルツマンの原理の式の $W$ が場合の数であるけれども、熱力学の公式でのエントロピーの式(5)のほうが難解だ。

$$\begin{align} dS = \frac{q}{T}\tag{5} \end{align}$$

問題はエントロピーよりも温度の方だと。

<温度>について考えを巡らせ、その本質について思い悩んでみると、一つわかることがある。「熱い」「冷たい」という感覚につきまとうのは、常に「触ってみる」という行為なのだ(…)触れることで、手に熱絵エネルギーが流れ込んできた時、「熱い」と感じる。熱エネルギーが流れ出すと「冷たい」。かたや0度の水と0度の氷は、くっつけたときに熱がどちらの方向へも流れない。だからこそ、われわれは両者の温度が等しいことを知るのである。(…)だが、これは、熱力学第二法則、エントロピーの法則そのものではないか！(p.125-126)

だから、あなたがいま、式(5)を理解したいと叫ぶとき、そこで問われているのは<エントロピー>の意味ではない。<温度>の真の意味が問われているのである。すなわち式(5)が語るものは、<温度>とは何か、という疑問への最終解答ー温度の<定義>なのである。(p.127)

なるほど！式(5)の $q$ をよくみる書き方 $dQ$ に変えておくと、

$$\begin{align} dS = \frac{dQ}{T}\\ T = \frac{dQ}{dS} \end{align}$$

これって温度の定義式みたいだなって思った。

次回に続く。

■ 「時間は存在しない」、エントロピー、ギブスのパラドックス(1/3)

「時間は存在しない」カルロ・ロヴェッリ、読了した。すげー面白かった。まさにこれが今知りたいことだった。エントロピーは相対的な概念(速度が観察者と対象との間の相対的な速度であるのと同じ)ではあるが、あくまで相互作用する系の間で規定されるものであり、心的過程を前提とする必要はない、とスッキリと納得できた。

時間の矢とエントロピー増大の法則を関連付ける、という話は何度か聞いたことはあるけれど、それを時間と空間のない「永遠主義」的な立場から、宇宙の中でたまたまエントロピーの低い系に我々がいて、エントロピーの増大を時の流れとして経験する、というストーリーは、批判的に読まなければならないだろうけど、いままででいちばん意味がある考え方だと思った。

あと別のラインでエントロピーのことがずっと気になってた。情報自由エネルギー原理FEPや情報統合理論IITについて考えるにあたってずっと気になっていたのは、情報やエントロピーが環境に実在するように扱われているけれども、観察者に依存しているものではないの？ということだった。

しかもこれはFEPで扱われているような生物の認識の問題で使われる情報理論的なエントロピーの話だけではなくて、物理的な意味でのエントロピーでも関わってくるらしい。

エントロピーはわたしたちが何を識別しないかによって変わってくる。なぜならそれは、私達には区別できない配置の数で決まるからだ。まったく同じミクロな配置のエントロピーが、あるレベルのぼやけでは高くなり、別のレベルのぼやけでは低くなる。だからといって、このぼやけは人間の精神が生み出したものではなく、あくまで実際に存在する物理的な相互作用によって決まる。エントロピーは恣意的でもなければ主観的な量でもなく、速度のような相対的な量なのだ。p.144

速度とは、何かほかのものに対する性質、すなわち相対的な量なのである。エントロピーについても同じことがいえて、BにとってのAのエントロピーとは、AとBの間の物理的な相互作用では区別されないAの状態の数なのだ。p.144-145

ここで言っている配置の数というのは、ボルツマンの原理の話をしている。ボルツマンの原理では

$$S = k_B \log W$$

熱力学的なエントロピー $S$ と統計力学的な可能な状態での配置の数 $W$ とを結びつけているわけだけど、この $W$ のこと。

エントロピーが観察者に依存している、もっと正確にはどういう熱力学的状態を問題とするかに依存するという話はJaynesとかいろいろある。これについては今回調べてまとめたのであとで書く。でもそれを「物理的な相互作用」に依存するという言い方をしているのは初めて見た。そしてそれはすごく納得いった。

たとえば、気体Aと気体Bがピストンを押しあうという相互作用においては、圧力と温度というマクロなパラメーターしか効いてこないからこそ個々の分子の位置やエネルギー情報が無視されている。いっぽうで、気体Aと気体Bが半透膜で仕切られていて、分子Aだけが通り抜けられるという状況では、気体Aと気体Bの違いは無視できない。そしてここには観察者は必要がない。

あとここでの「ぼやけ」というのは粗視化のことを言ってる。Wikipediaの粗視化の項にこの件について書かれている。つまり、エントロピー増大の法則というのは、粗視化が必要なときだけ起きる。粗視化とエントロピー増大の法則の関係については、stack exchangeの回答にあったこの図がイメージしやすかった。(ところで「無知であること」と「粗視化」の違いが私にはまだ明確でないのだけど、あくまでもリウヴィル方程式が出てくるような場面でのみ粗視化の概念が必要となると理解している。)

過去と未来の違いはすべて、かつてこの世界のエントロピーが低かったという事実に起因しているらしい。(p.142)

小さな系Sにとっては、熱時間の流れ全体から見たエントロピーは一般に高いまま推移し、せいぜい上下に揺らぐくらいである…ところが、わたしたちがたまたま暮らしている途方も無く広大なこの宇宙にある無数の小さな系Sのなかにはいくつか特別な系があって、そこではエントロピーの変動によって、たまたま熱時間の流れの2つある端の片方におけるエントロピーが低くなっている。これらの系Sにとっては、エントロピーの変動は対象でなく、増大する。そしてわたしたちは、この増大は時の流れとして経験する。つまり特別なのは初期の宇宙の状態ではなく、わたしたちが属している小さな系Sなのだ。(p.154-155)

これめちゃ面白いんだけど、「我々にとって」エントロピーが低いということがどういうことなのかに依存している。上記のように、エントロピーを考えるのに、われわれ主観的な観察者を考える人間原理は不要で、あくまで相互作用の問題なので。

わたしたちとこの世界の残りの部分が特殊な相互作用をしているからこそ宇宙が始まったときのエントロピーが低かった、というのはどういうことなのだろう？(p.146)

ここの説明でトランプの例が紹介されている(p.147)。つまり、12枚のトランプがあって、6枚の赤の束に6枚の黒の束を重ねてシャッフルするとだんだんバラバラになってゆく。つまりエントロピーの低い状態からエントロピーの高い状態になった。一方で、12枚のトランプをすべてガン牌(麻雀用語)できる場合は、はじめの段階でスペード6とかハートAとか12枚すべてを知っているから、シャッフルしても「バラバラ」にならない。つまりエントロピーは変わらない。

この例は「宇宙が始まったときのエントロピーが低かった」ことの説明のところに来ているけど、むしろ上記の、エントロピーとは我々が区別できない配置の数に依存する、の説明の方が向いているように思ったけど。

---

そんなわけで、もうすこし深掘りしてみることにしよう。ループ量子重力理論じたいを学ぶつもりはないけど、ロヴェッリの論考についてはarXivにプレプリントがあるとのことなので、そのあたりを読んでみようと思う。

• arXiv 2016 “Meaning = Information + Evolution”
• arXiv 2013 “Relative information at the foundation of physics”
• arXiv 2015 “Is Time’s Arrow Perspectival?”

まずEdgeの文章"Relative information"が短いので読んでみた。でもこれはあまりに一般的に情報のことしか書いてないので面食らう。

じつのところRelative informationというのはなんのことか、"Meaning = Information + Evolution"を読んでみた。ここでRelative informationを定義しているのだけど、系Aと系Bがあったとして、$p(A,B)$ と $p(A)p(B)$ それぞれのエントロピーを計算して差をとったものって書いてあるけど、いやそれってふつうに総合情報量の定義 $I(X;Y)=H(X)+H(Y)-H(X,Y)$ そのものなんじゃないのか？ここでいっきょにわからなくなった。積分はLiouville Measureでとるって書いてあるから、ここに粗視化が出てくるのだろうとは思うのだけど。

今日はここまで。明日に続く。

P.S. ちなみに"Meaning = Information + Evolution"の後半に出てくるKolchinsky-Wolpertによるsemantic informationの定義というのは面白い。最終的に出版されたのはInterface Focus. 2018

ここに動画あり："Observers as Systems that Acquire Information to Stay out of Equilibrium by David Wolpert" スライド(PDF) もあり。スライドの最後のページを見てもらえばわかる。FEPよりもこっちのほうを最大化していると考えたほうがよいかも。こっちもいま読んでいるので、そのうちまとめたい。

P.P.S. David Wolpertってサンタフェ研究所の「ノーフリーランチ定理」の人。この動画はFoundational Questions InstituteのFQXi2016のトークというもので、ジュリオ・トノーニや大泉さんもトークしている。

お勧めエントリ

• 細胞外電極はなにを見ているか(1) 20080727 (2) リニューアル版 20081107
• 総説 長期記憶の脳内メカニズム 20100909
• 駒場講義2013 「意識の科学的研究 - 盲視を起点に」20130626
• 駒場講義2012レジメ 意識と注意の脳内メカニズム(1) 注意 20121010 (2) 意識 20121011
• 視覚、注意、言語で3*2の背側、腹側経路説 20140119
• 脳科学辞典の項目書いた 「盲視」 20130407
• 脳科学辞典の項目書いた 「気づき」 20130228
• 脳科学辞典の項目書いた 「サリエンシー」 20121224
• 脳科学辞典の項目書いた 「マイクロサッケード」 20121227
• 盲視でおこる「なにかあるかんじ」 20110126
• DKL色空間についてまとめ 20090113
• 科学基礎論学会 秋の研究例会 ワークショップ「意識の神経科学と神経現象学」レジメ 20131102
• ギャラガー＆ザハヴィ『現象学的な心』合評会レジメ 20130628
• Marrのrepresentationとprocessをベイトソン流に解釈する (1) 20100317 (2) 20100317
• 半側空間無視と同名半盲とは区別できるか？(1) 20080220 (2) 半側空間無視の原因部位は？ 20080221
• MarrのVisionの最初と最後だけを読む 20071213

月別過去ログ

[2024]

2|

1|

[2023]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2022]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2021]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2020]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2019]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2018]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2017]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2016]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2015]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2014]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2013]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2012]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2011]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2010]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2009]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2008]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2007]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2006]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2005]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2004]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2003]

12|

11|

8|

7|

[2001]

10|

8|

6|

5|

4|

2|

[2000]

12|

9|

8|

7|

6|

3|

2|

1|

[1999]

9|

8|

7|