北海道大学 人間知・脳・AI研究教育センター(CHAIN)に異動します/ポスドク研究者募集します

こんど北海道大学 人間知・脳・AI研究教育センター(CHAIN)に異動することになりました。今度の1月着任の予定で手続きを進めているところです。1月から3月までは生理研と兼任、4月からはいよいよ実験再開という段取りです。

北海道大学 人間知・脳・AI研究教育センター(CHAIN)というのは、人文社会科学・脳科学・AI研究の3つを融合させた学際的研究と教育を行っていこうとするセンターです。北大の文学部が主な母体ですが、複数の学部からのコアメンバーと兼務教員から構成されていて、センター長は文学部教授で現象学者の田口茂さんです。

今年の7月に公募がありましたが、そこで人文社会科学・脳科学・AI研究のそれぞれから合計3人の教員を募集しておりました。私はそちらに応募して、脳科学部門についての特任准教授として採用されたというわけです。とりあえず期間は5年間(1月からだと4年と3ヶ月)ですが、このセンターをもり立ててさらに延長させていこうという目論見です。

Webサイトにある設立の目的の文章を読んでもらえるとわかりますが、人文社会科学・脳科学・AI研究がちょうど交差する4つのテーマ(意識・自己・社会性・合理性)に関わる教育・研究ユニットとなっております。

ここでこそ、わたしが目指していた「意識」の研究、さらに言えば、生きていることと心を持つことを繋げるような「結びつけるバターン」を明らかにしようという私のライフワークが可能になるのではないかと思ったわけです。(以前のブログの文章「マニフェスト20180311」で少し書きました。)

それで私が今までそしてこれから目指していこうとしていることを、ざっくり形式的なところだけ表現すると、こんな感じになると考えてます。


まず最初の対象としては、我々が眼を動かしながら視覚シーンを構成してゆくという「アクティビジョン」の解明を進めてゆきます。

(1) 現在進めているマーモセットを使ったECoG記録やCaイメージング、光遺伝学による局所刺激などによる操作脳科学を行います。さらにアイトラッカーを使ってヒトを対象とした実験も行ってゆきたい。形式的に言えばこれは「観察と介入」です。

(2) そしてそれを自由エネルギー原理とそれに派生する計算論モデルによってモデル化してゆきます。ここがいわばAIパート。形式的に言えば「形式化と予測」です。

(3) そしてそれを意識経験の構造についての現象学の知見と対応付け、さらに(1)の脳科学と相互に拘束条件を与えるように用いる「経験の構造」です。

これがまさに私がこれまで田口茂さんと一緒に書いた「自由エネルギー原理と視覚的意識」でやろうとしたことだし、これから進めてゆこうという方向です。

でもってこれってすでに「人間知・脳・AI研究教育センター」が目指してることじゃん?って思うわけです。これを新しく採用されたもう二人の教員の方といっしょにさらに加速していけるんではないかと思っているのです。

ご存じの方には、この図式がVarelaの神経現象学(下の図)を現代の水準にアップデートして再始動させようとしているのがわかることでしょう。



そういうわけで、これから吉田ラボを立ち上げてゆくので、興味のある方はぜひ吉田までお知らせください。

さて本題ですが、吉田ラボでマーモセット研究をメインでやっていただくポスドク研究者を1名募集します。以前6/30締切で募集を行いましたが(生理研webサイトおよび吉田ブログ記事)、あのときは目的に叶う方が見つかりませんでしたので、採用は行いませんでした。

今度はふたたび同じ内容、同じ研究予算にて、ただし研究場所だけ北海道大学に変更した上で研究を行います。研究場所は北海道大学 医学部附属動物実験施設で、研究期間は革新脳が終了する2024年3月までです。

募集に関する詳しい情報についてはこれからwebサイトやjrec-inなどでお知らせしますが、早ければ1月から雇用開始、おそくとも4月開始を目指しています。決定次第募集は終了します。もし札幌近郊にお住まいの方で興味のある方いましたら、お早めにご連絡ください。今度12/16-17に北大に行く用事がありますので、そこで詳しいお話をすることができます。

もちろんこの機会に札幌行くぞって方、留学中で帰国予定の方も大歓迎。博士号取得見込みで4月から参加したいという方も大歓迎。ともあれstay tuned!


「自由エネルギー原理入門: 正規分布を仮定した場合」を作成しました

今年も東大工学部の國吉さんに呼ばれて「脳型情報処理機械論」でオムニバス講義を一回担当します。私の回のタイトルは「Enactivisim and Free energy principle」ということで。

いろいろ資料をアップデートしないといけないのですが、とりあえず懸案だった「自由エネルギー原理で生成モデルと信念に正規分布を仮定すると予測符号化が導ける」というBogacz 2017論文についての資料を作成しました。

まだいろいろいじりたいのだけど、次はいつになるかわからないのでとりあえずこれで公開しておきます。乞うご期待。


「時間は存在しない」、エントロピー、ギブスのパラドックス(3/3)

前回からのつづき。

「エントロピーが観察者に依存している、もっと正確にはどういう熱力学的状態を問題とするかに依存するという話はJaynesとかいろいろある。」と書いたけど、その部分についてまとめる。

E. T. Jayesは"Gibbs vs Boltzmann Entropies (1964)"においてこう書いてる。

thermodynamics knows of no such notion as the “entropy of a physical system.” Thermodynamics does have the concept of the entropy of a thermodynamic system; but a given physical system corresponds to many different thermodynamic systems.

From this we see that entropy is an anthropomorphic concept, not only in the well-known statistical sense that it measures the extent of human ignorance as to the microstate. Even at the purely phenomenological level, entropy is an anthropomorphic concept. For it is a property, not of the physical system, but of the particular experiments you or I choose to perform on it.

エントロピーは「ある物理系」について決まるものではなくて、「熱力学的システム」ごとに決まる。

たとえば「ロッシェル塩(酒石酸カリウムナトリウム)の結晶」について実験を行うとき、実験1では温度と圧力が興味の対象なので、エントロピーは となる。実験2ではひずみと分極が興味の対象なので、エントロピーは となる。

つまり、「ロッシェル塩の結晶固有のエントロピー」というものがあるのではなくて、熱力学的状態を定義するパラメーターを規定するとエントロピーも規定される。

For example, I have been asked several times whether, in my opinion, a biological system, say a cat, which converts inanimate food into a highly organized structure and behavior, represents a violation of the second law. The answer I always give is that, until we specify the set of parameters which define the thermodynamic state of the cat, no definite question has been asked!

生物(たとえばネコ)は第二法則をviolateするか?というよくある質問に対しても、「そのネコについての熱力学的状態を定義するパラメーターを規定しないかぎり、それは(意味のある)質問になってない」というのが答えだ。

さきほどの粗視化の問題についてWikipediaで調べてみると、MaxEnt thermodynamicsの項目で出てくる。E. T. JayesはMaxEnt thermodynamicsの創始者だ。あとどうやらこのラインの考え方は、QBism(量子ベイズ)にも繋がるらしい。

QBism批判でも人間原理的な主観確率が問題になっているようだけど、上記のロヴェッリが書いたような、あくまでもローカルな相互作用ごとにエントロピーが決まるということならば、人間原理にならないのではないかと思うのだけど、素人なのでまた勉強しながら考える。


こういう話題でよく出てくるのが、「ギブスのパラドックス」というものだ。これもまとめておく。

(状況1) 気体Aの入った箱と気体Bの入った箱とをくっつけて繋げるとAとBが混ざる。当然エントロピーも増大する。(状況2) 気体Aの入った箱と同じ気体Aの入った別の箱をくっつけて繋げる。状況2ではおなじAとAなのでエントロピーは増大しないはず。でも計算上は状況1と同じだからエントロピーが増大してしまう。

このスライド(PDF)がわかりやすかった。

この問題の解決法としては、量子力学においては同種粒子が互いに区別できないから、配置数 を多く数えすぎているために起こる、と考える。よって分配関数 で割って補正する。

量子力学的説明に訴えなくても、統計力学的なエントロピーに示量性をもたせるように補正することで解決できる。つまり、熱力学的なエントロピー と統計力学的なエントロピー があって、両者の差を決めるambiguity function がある。

を統計力学的なエントロピーに示量性がなりたつように決めてやると、

この の項が、量子力学的説明で粒子を区別できないときに で割る補正をすることと同じ役割を果たしている。(Sterlingのapproximationより )

「熱力学―現代的な視点から」の田崎晴明氏のサイトにギブスのパラドックスについての記載がある。6/15/2000(木) ここでリンクされている「模範解答」の部分。さらに6/19/2000(月)の記事では、上記のJaynes 1965での「異なる熱力学的状態」と同様なことを書いてる:

熱力学の構造というのは、 マクロな視点を指定したときにはじめて「現れて」くるものなのだ。 マクロな視点として、
  • パチンコ玉をいっさい区別しない
  • 「○×会館」の玉か「パチンコランド××」の玉かだけは区別する
  • すべての玉に番号を振ってきっちり区別する

といった幾通りもの視点が可能であり、 それに応じてもっとも便利な熱力学的な構造を選ぶのがよい。


Janyesに加えて、ギブスのパラドックスにおけるエントロピーの意義についてなんどか引用されているのを見かけたのがvan Kampen (1984)で、原文にあたるとこう書いてる。

Thus the paradox is resolved by replacing the Platonic idea of entropy with an operational definition. Quantum mechanics has no bearing on the question.

The question is not whether the particles are identical in eyes of God, but merely in the eyes of the beholder.

N. G. van Kampen, (1984) “The Gibbs paradox,” in Essays in Theoretical Physics, edited by W. E. Parry (Pergamon, Oxford), page 303-312 Google Booksのプレビュー: https://books.google.co.jp/books?id=75Y3BQAAQBAJ&pg=PA303

こちらでも、エントロピーがエネルギーのような物質の特性ではないということが強調されてる。


あともうひとつ、今回調べていて面白かったのが、非平衡統計力学とギブスのパラドックスとの関係について。「微小熱力学系におけるGibbsのパラドックス」 この内容についてはPhys. Rev. Lett. 118, 060601に出版されている。arXiv版もあり。

ギブスのパラドックスのうち、熱力学と統計力学との間での整合性の問題(GP-III)の解決法(示量性に訴える)が微小熱力学系では成り立たないのをどうするか、というのがこの論文の問題。示量性の代わりに非平衡統計力学でのゆらぎの定理と絶対不可逆性から前述の補正項 を決めることができて、

となる、とのこと。情報熱力学を勉強したいと思っていたので、ひとつとっかかりができてよかった。

そういうわけで、最初の疑問からずいぶん遠くまで来たが、途中のギャップを埋めるためには、熱力学、統計力学、情報理論を勉強する必要がある。先は遠いが、まあ永遠に生きるつもりで勉強はしてゆくことにしよう。


「時間は存在しない」、エントロピー、ギブスのパラドックス(2/3)

前回からの続き。

このあたりでいい加減熱力学とかボルツマンの原理とか勉強しないといけないなと悟った。とはいえ教科書でじっくり勉強している時間もないので、ブルーバックスとか入門書を読んで最小限まとめておく。あくまでこれはわたし用のノート。こんなの学部生以来だから30年ぶりかも。


「高校数学でわかるボルツマンの原理」を元にしてまとめておく。

[Maxwell-Boltzmann分布(p.156)]

基本セッティング:

  • 個々の気体分子のとりうるエネルギー状態:
  • ぞれぞれのエネルギー状態の気体分子の数:
  • 分子の総数
  • 総エネルギー

例: 分子の数が4, 取りうるエネルギー状態が4 (等間隔)

  • 総エネルギー の場合に可能な気体分子の数の組み合わせ:
  • それぞれの組み合わせで取りうる場合の数
  • 同様にしてすべての組み合わせで
  • この 通りが同じ確率で分布する(等確率の原理)
  • よって一番起こりやすい分布は

[ が大きいときの一般化(p.166)]

  • で微分してmaxとなる を決める
  • の代わりに をそれぞれの で偏微分して になる を見つける。
  • スターリングの公式 より
  • 偏微分して とおくと
  • 分子の総数 は一定なので による偏微分はゼロ
  • エネルギーの総数 は一定なので による偏微分はゼロ
  • 以上の3つの式(1), (2), (3)を使った連立方程式を、ラグランジュの未定乗数法を使って解く。
  • (4)が に依存せずに成立する条件は
  • よって各エネルギー状態の分子の分布は を入れると、
  • を消すために、分子数の総和 を入れて
  • 式(5), (6)より を消すと
  • この分母の が分配関数。 に依存しない。
  • つまり、エネルギー総和 のときに、エネルギーが高い状態 になるほど、存在確率 は低くなる。
  • 同様に総エネルギーの式も表現できる。

[ボルツマンの原理の導出(p.196)]

エントロピー (熱力学)と場合の数 (統計力学)を繋ぐ。

Step 1: ヘルムホルツの自由エネルギー を統計力学的な で表現する

  • を温度 で微分(体積 は一定)
  • 式(9)を用いて、 を温度 で微分してから、式(7)の を代入

Step 2: 微分方程式(10)を解く

Step 3: 式(9)の に式(11)を代入する


[ボルツマンの原理の右辺と左辺の関係]

Arieh Ben-Naim (2007) Entropy Demystified, the Second Law of Thermodynamics Reduced to Plain Common Sense, World Scientific, Singapore こちらのページに1章と8章のプレビュー用PDFあり。

この本の8章でボルツマンの原理の右辺と左辺の関係について言及してた。

左辺の は熱力学的エントロピーだから単位は で、右辺の は場合の数だから無次元。両者を合わせるためにボルツマン定数 を掛けてある。だから、熱力学的エントロピーと場合の数の対数(=情報)は別物であるわけだけど、

Recall that temperature was defined earlier than entropy and earlier than the kinetic theory of heat (…) Once the identification of temperature as a measure of the average kinetic energy of the atoms had been confirmed and accepted, there was no reason to keep the old units of K. (p.204-205)

そもそも温度 は歴史的経緯から単位 がつけられたけど、 となるように温度を再定義してやれば、そのような温度 で計算された熱力学的エントロピー は無次元となる。

よってボルツマンの原理の左辺も右辺も無次元でどちらも情報を表しているのだ、と書いてる。

同じ問題について「エントロピーを巡る冒険」(鈴木炎)の3章にも言及があった。ボルツマンの原理の式の が場合の数であるけれども、熱力学の公式でのエントロピーの式(5)のほうが難解だ。

問題はエントロピーよりも温度の方だと。

<温度>について考えを巡らせ、その本質について思い悩んでみると、一つわかることがある。「熱い」「冷たい」という感覚につきまとうのは、常に「触ってみる」という行為なのだ(…)触れることで、手に熱絵エネルギーが流れ込んできた時、「熱い」と感じる。熱エネルギーが流れ出すと「冷たい」。かたや0度の水と0度の氷は、くっつけたときに熱がどちらの方向へも流れない。だからこそ、われわれは両者の温度が等しいことを知るのである。(…)だが、これは、熱力学第二法則、エントロピーの法則そのものではないか!(p.125-126)

だから、あなたがいま、式(5)を理解したいと叫ぶとき、そこで問われているのは<エントロピー>の意味ではない。<温度>の真の意味が問われているのである。すなわち式(5)が語るものは、<温度>とは何か、という疑問への最終解答ー温度の<定義>なのである。(p.127)

なるほど!式(5)の をよくみる書き方 に変えておくと、

これって温度の定義式みたいだなって思った。

次回に続く。


「時間は存在しない」、エントロピー、ギブスのパラドックス(1/3)

「時間は存在しない」カルロ・ロヴェッリ、読了した。すげー面白かった。まさにこれが今知りたいことだった。エントロピーは相対的な概念(速度が観察者と対象との間の相対的な速度であるのと同じ)ではあるが、あくまで相互作用する系の間で規定されるものであり、心的過程を前提とする必要はない、とスッキリと納得できた。

時間の矢とエントロピー増大の法則を関連付ける、という話は何度か聞いたことはあるけれど、それを時間と空間のない「永遠主義」的な立場から、宇宙の中でたまたまエントロピーの低い系に我々がいて、エントロピーの増大を時の流れとして経験する、というストーリーは、批判的に読まなければならないだろうけど、いままででいちばん意味がある考え方だと思った。

あと別のラインでエントロピーのことがずっと気になってた。FEPやIITについて考えるにあたってずっと気になっていたのは、情報自由エネルギー原理FEPや情報統合理論IITについて考えるにあたってずっと気になっていたのは、情報やエントロピーが環境に実在するように扱われているけれども、観察者に依存しているものではないの?ということだった。

しかもこれはFEPで扱われているような生物の認識の問題で使われる情報理論的なエントロピーの話だけではなくて、物理的な意味でのエントロピーでも関わってくるらしい。

エントロピーはわたしたちが何を識別しないかによって変わってくる。なぜならそれは、私達には区別できない配置の数で決まるからだ。まったく同じミクロな配置のエントロピーが、あるレベルのぼやけでは高くなり、別のレベルのぼやけでは低くなる。だからといって、このぼやけは人間の精神が生み出したものではなく、あくまで実際に存在する物理的な相互作用によって決まる。エントロピーは恣意的でもなければ主観的な量でもなく、速度のような相対的な量なのだ。p.144

速度とは、何かほかのものに対する性質、すなわち相対的な量なのである。エントロピーについても同じことがいえて、BにとってのAのエントロピーとは、AとBの間の物理的な相互作用では区別されないAの状態の数なのだ。p.144-145

ここで言っている配置の数というのは、ボルツマンの原理の話をしている。ボルツマンの原理では

熱力学的なエントロピー と統計力学的な可能な状態での配置の数 とを結びつけているわけだけど、この のこと。

エントロピーが観察者に依存している、もっと正確にはどういう熱力学的状態を問題とするかに依存するという話はJaynesとかいろいろある。これについては今回調べてまとめたのであとで書く。でもそれを「物理的な相互作用」に依存するという言い方をしているのは初めて見た。そしてそれはすごく納得いった。

たとえば、気体Aと気体Bがピストンを押しあうという相互作用においては、圧力と温度というマクロなパラメーターしか効いてこないからこそ個々の分子の位置やエネルギー情報が無視されている。いっぽうで、気体Aと気体Bが半透膜で仕切られていて、分子Aだけが通り抜けられるという状況では、気体Aと気体Bの違いは無視できない。そしてここには観察者は必要がない。

あとここでの「ぼやけ」というのは粗視化のことを言ってる。Wikipediaの粗視化の項にこの件について書かれている。つまり、エントロピー増大の法則というのは、粗視化が必要なときだけ起きる。粗視化とエントロピー増大の法則の関係については、stack exchangeの回答にあったこの図がイメージしやすかった。(ところで「無知であること」と「粗視化」の違いが私にはまだ明確でないのだけど、あくまでもリウヴィル方程式が出てくるような場面でのみ粗視化の概念が必要となると理解している。)

過去と未来の違いはすべて、かつてこの世界のエントロピーが低かったという事実に起因しているらしい。(p.142)

小さな系Sにとっては、熱時間の流れ全体から見たエントロピーは一般に高いまま推移し、せいぜい上下に揺らぐくらいである…ところが、わたしたちがたまたま暮らしている途方も無く広大なこの宇宙にある無数の小さな系Sのなかにはいくつか特別な系があって、そこではエントロピーの変動によって、たまたま熱時間の流れの2つある端の片方におけるエントロピーが低くなっている。これらの系Sにとっては、エントロピーの変動は対象でなく、増大する。そしてわたしたちは、この増大は時の流れとして経験する。つまり特別なのは初期の宇宙の状態ではなく、わたしたちが属している小さな系Sなのだ。(p.154-155)

これめちゃ面白いんだけど、「我々にとって」エントロピーが低いということがどういうことなのかに依存している。上記のように、エントロピーを考えるのに、われわれ主観的な観察者を考える人間原理は不要で、あくまで相互作用の問題なので。

わたしたちとこの世界の残りの部分が特殊な相互作用をしているからこそ宇宙が始まったときのエントロピーが低かった、というのはどういうことなのだろう?(p.146)

ここの説明でトランプの例が紹介されている(p.147)。つまり、12枚のトランプがあって、6枚の赤の束に6枚の黒の束を重ねてシャッフルするとだんだんバラバラになってゆく。つまりエントロピーの低い状態からエントロピーの高い状態になった。一方で、12枚のトランプをすべてガン牌(麻雀用語)できる場合は、はじめの段階でスペード6とかハートAとか12枚すべてを知っているから、シャッフルしても「バラバラ」にならない。つまりエントロピーは変わらない。

この例は「宇宙が始まったときのエントロピーが低かった」ことの説明のところに来ているけど、むしろ上記の、エントロピーとは我々が区別できない配置の数に依存する、の説明の方が向いているように思ったけど。


そんなわけで、もうすこし深掘りしてみることにしよう。ループ量子重力理論じたいを学ぶつもりはないけど、ロヴェッリの論考についてはarXivにプレプリントがあるとのことなので、そのあたりを読んでみようと思う。

まずEdgeの文章"Relative information"が短いので読んでみた。でもこれはあまりに一般的に情報のことしか書いてないので面食らう。

じつのところRelative informationというのはなんのことか、"Meaning = Information + Evolution"を読んでみた。ここでRelative informationを定義しているのだけど、系Aと系Bがあったとして、 それぞれのエントロピーを計算して差をとったものって書いてあるけど、いやそれってふつうに総合情報量の定義 そのものなんじゃないのか?ここでいっきょにわからなくなった。積分はLiouville Measureでとるって書いてあるから、ここに粗視化が出てくるのだろうとは思うのだけど。

今日はここまで。明日に続く

P.S. ちなみに"Meaning = Information + Evolution"の後半に出てくるKolchinsky-Wolpertによるsemantic informationの定義というのは面白い。最終的に出版されたのはInterface Focus. 2018

ここに動画あり:"Observers as Systems that Acquire Information to Stay out of Equilibrium by David Wolpert" スライド(PDF) もあり。スライドの最後のページを見てもらえばわかる。FEPよりもこっちのほうを最大化していると考えたほうがよいかも。こっちもいま読んでいるので、そのうちまとめたい。

P.P.S. David Wolpertってサンタフェ研究所の「ノーフリーランチ定理」の人。この動画はFoundational Questions InstituteのFQXi2016のトークというもので、ジュリオ・トノーニや大泉さんもトークしている。


お勧めエントリ

  • 細胞外電極はなにを見ているか(1) 20080727 (2) リニューアル版 20081107
  • 総説 長期記憶の脳内メカニズム 20100909
  • 駒場講義2013 「意識の科学的研究 - 盲視を起点に」20130626
  • 駒場講義2012レジメ 意識と注意の脳内メカニズム(1) 注意 20121010 (2) 意識 20121011
  • 視覚、注意、言語で3*2の背側、腹側経路説 20140119
  • 脳科学辞典の項目書いた 「盲視」 20130407
  • 脳科学辞典の項目書いた 「気づき」 20130228
  • 脳科学辞典の項目書いた 「サリエンシー」 20121224
  • 脳科学辞典の項目書いた 「マイクロサッケード」 20121227
  • 盲視でおこる「なにかあるかんじ」 20110126
  • DKL色空間についてまとめ 20090113
  • 科学基礎論学会 秋の研究例会 ワークショップ「意識の神経科学と神経現象学」レジメ 20131102
  • ギャラガー&ザハヴィ『現象学的な心』合評会レジメ 20130628
  • Marrのrepresentationとprocessをベイトソン流に解釈する (1) 20100317 (2) 20100317
  • 半側空間無視と同名半盲とは区別できるか?(1) 20080220 (2) 半側空間無視の原因部位は? 20080221
  • MarrのVisionの最初と最後だけを読む 20071213

月別過去ログ