pooneilの脳科学論文コメント

■ Classification / Identification / Reconstruction

遅ればせながら、fMRIによるmind reading paperであるGallantのところのKay et.al. 2008と神谷さんのところのMiyawaki et.al. 2008を読んできました。

そうこうしているあいだにGallantのほうはcosyneやVSSでbayasian decoderを発表してるし(見に行けなかった)、神谷さんの方もこのあいだの視覚研究会で先に進んでいる様子を拝見しました。ここでは、大規模電気生理記録への応用をイメージしながら、conceptual frameworkを中心にまとめておきます。キーワードは[Classification / Identification / Reconstruction]、それから[Encoding - Decoding / Generative - discriminative]で。

• "Decoding the visual and subjective contents of the human brain." Kamitani Y, Tong F. Nat Neurosci. 2005 May;8(5):679-85
• "Identifying natural images from human brain activity." Kay KN, Naselaris T, Prenger RJ, Gallant JL. Nature. 2008 Mar 20;452(7185):352-5
• "Visual image reconstruction from human brain activity using a combination of multiscale local image decoders." Miyawaki Y, Uchida H, Yamashita O, Sato MA, Morito Y, Tanabe HC, Sadato N, Kamitani Y. Neuron. 2008 Dec 10;60(5):915-29.

単純化してまとめます。まずEncoding / Decoding modelの違い：

• 学習データは S_j (刺激パターン) - R_j (応答パターン)の対。
• Encoding modelでは S_j -> f() -> R_j の変換をするf()を学習する。
  (f()は刺激に対する応答特性だから、tuning curveを作っているということ。)
• Decoding modelでは S_j <- g() <- R_j の変換をするg()を学習する。
• g()はf()の逆変換なのだから、もしf()またはg()がお互いから計算できるならばencoding model - decoding modelには差はない。しかしそう簡単にはいかない。
  • 行列表現で考えれば、 R = F*S; S = G*R となり、G = inv(F)となる。しかし、BOLDのような多次元データでは正確な逆行列を得ることはできない。
  • 確率表現で考えれば、Fはp(R|S)で、Gはp(S|R)なので、ベイズの公式から、G = F * P(S) / ∫ (F * P(S)) となる。この計算には同時確率P(S,R)が必要。これはBOLDのような多次元データでは難しい。(NaNが続出しまくるので内挿する必要がある。)

こうしたうえで、三つの論文でやってることをまとめるとこうなります、

• [Kamitani and Tong 2005]は[Decoding modelによるClassification]
  • 学習段階：0,22.5,...180degのorientation刺激によってdecoding modelを作る。
  • テスト段階：応答パターンRjから推定した刺激S_hat_jが45degと135degのどっちに属するか決定する。
• [Kay et.al. 2008]は[Encoding modelによるIdentification]
  • 学習段階：1760枚の自然画像 (20deg diameter, 500 pixel, gray scale)でencoding modelを作る。Encoding modelはV1 simple cellを模したgabor waveletに基づくモデル。
  • テスト段階： 応答パターンRjが、刺激セット{S_1,…, S_120}から予想される応答パターン {R_hat_1,…, R_hat_120} のうちどれに近いかを決定する。
• [Miyawaki et.al. 2008]は[Decoding modelによるReconstruction]
  • 学習段階：440枚のチェッカーボード画像 (10*10 pixel, binary, flickering)でdecoding modelを作る。Decoding modelは1*1, 1*2, 2*1, 2*2のパッチをlocal image basisとしたモデル。
  • テスト段階： 応答パターンRjから推定した刺激S_hat_jそのものを計算する。

これに補足的コメントを付けます。

[Kamitani and Tong 2005]では、角度ごとのdecoderがあって、novelなimageのorientationが45degか135degであるかは、R_iに対する45degのdecoderの出力と135degのdecoderの出力とを比べて判別する。でもいったんこのdecoderができれば、45deg or 135degという判別問題だけでなく、0-180degのdecoderの出力の重み付けで連続的に角度を推定するという回帰問題も解くことも可能なはずです(どのくらいの精度が出るかは別として)。これはすでにorientationを「reconstructしている」ということができるでしょう。(Classification - Reconstructionの違いは判別問題と回帰問題の違いに帰着する。)

[Kay et.al. 2008]のencoding modelは刺激セットが既知であることが必須です。このencoding modelだけでは、脳の活動だけから刺激をreconstructすることはできません。Reconstructionのためには学習したencoder f()から逆変換 g() = f-1()を作ってやる必要があります。これは上記の通り、必ずしもうまくいくとは限りません。(VSS2009やcosyne2009で発表したものではreconstructionまでやっているそうですから、上記のベイズの公式を使ってf-1()を作っているのではないかと思います。)

[Kay et.al. 2008]でのindentificationの正答率は120枚のテスト刺激で92% (110/120; chance = 1/120)とstrikingな数字を出していますが、この数字の評価には注意が必要です。テスト刺激の刺激画像のあいだの類似性などに基づいて評価する必要があります。また、なにか他のモデルとの比較も必要です。ここではretinotopy-only modelというのを使っていて、モデルからorientation, spatial frequency, phaseを除いたモデルでの成績を出しています。retinotopy-only modelよりも今回のgabor wavelet modelのほうが成績がいいと書いてあるのだけれど、じつのところ、retinotopy-only modelでも成績は結構良い(‾60%)。つまり、風景の画像だったら上のほうが明るいとか、画像の明るさの位置情報だけあれば結構当たるということです。というわけで、正答率での評価はわかりやすいけどだまされやすい。

ちなみに[Kay et.al. 2008]の本文には統計的検定のp-valueがまったくない。これはベイジアン的立場からすればあり得るのかもしれないけど、92% (110/120)がどうsignificantなのかをどう評価したらよいのだろうと思います。たとえば上記のgabor wavelet model - retinotopy-only modelだったら、モデル選択の側面からAICやBICで、orientation, spatial frequency, phaseをモデルに入れる意義を評価できると思うのだけれど。(Supplementary infoとか読んでないので、そっちにはあるのかもしれないけど。)

[Miyawaki et.al. 2008]では、reconstructionができるということはとうぜんidentificationも可能なわけで(reconstructした刺激と一番近い刺激セットを選ぶ)、このdecoding modelのidentificationの正答率を評価していますが、刺激セットが100のときで90%以上となり、[Kay et.al. 2008]と比べても性能が高いことがわかります。これは後述のgenerative modelとdiscriminative modelとの関係に関わると思いますが。

しかし図を見たところ、reconstructionの成績をどう評価するかというところがわかりにくい。前述の通り、Classification問題は判別分析なので正答率で評価される一方で、Reconstruction問題は本質的には回帰分析なので残差で評価されます。正答率110/120を評価する必要があるのと同様に残差0.2がどのくらい小さいのかをどう評価したらいいんだろうかと思います。Single-trialでもreconstructできる、という図およびムービーのインパクトはべつにして。モデル間の比較としてはV1/V2/V3それぞれだけを使ってモデルの評価やlocal image basisの選択の評価のところで残差を使った評価が出てきてはいるのですが。

Encoding / Decoding / Reconstruction などのissueに関しては"I can see what you see." Kay KN, Gallant JL. Nat Neurosci. 2009 Mar;12(3):245にある図がわかりやすいです。

さて、んで、このencoding model - decoding modelのところを機械学習で言うところのgenerative model - discriminative modelとつなげて考えてみようというわけです。generative model - discriminative modelに関してはBishop本(PRML)を参照するべきでしょうけど、ここでは信学技報「ベイズ統計の流行の背後にあるもの」 伊庭幸人などを参考にまとめてみます。(この講演のまとめが「ベイズ統計の流行の背後にあるもの」にあり)。

Generative modelでは、データの生成過程をモデル化する。全データの同時確率P(S,R)が入手できるのでベイズの公式が使える。これによって順モデルから逆モデルを作る。教師無し学習では、こちらのほうがモデルからのズレに対してrobust。

Discriminative modelでは、目的に必要な条件確率P(S|R)のみをモデル化する。教師有り学習では、(一般的に言って)計算量が同じなら、こちらの方が成績がよい。

神経生理学者としては、multi-unitのcluster cuttingをイメージすると良いのではないかと思います。二つのunitをどう分けるかという問題があったときに、PCAとかで2次元のscattered plotにして、そこに判別直線を引いて分類するのがDiscriminative modelです。(SVMもこっちに入る。) いっぽうで、そのような2次元のscattered plotでふたつのgaussianのprocessからふたつのunitが生成されると考えて最尤法でその分布を推定した上で、新しいデータの判別には尤度比を使うというのがgenerative modelと言えばよいのでしょう。そうすると、generative modelのほうが手数が多くなることがわかります。Clusterが二つとわかっているときはDiscriminative modelでよいでしょうけど、clusterがひとつかもしれない場合はmixture of gaussianのmodelingをgenerative modelで行う必要があるのでしょう。

同様にして信号検出理論についても考えることが出来ます。信号検出理論は、ノイズと信号の分布を推定したうえで尤度比で決定を行うということから、generative modelなわけです。というか判別問題よりも生成モデルの推定自体が目的なのだからそりゃそうなわけですが。(生成モデルの推定という意味では、正規分布の過程を取っ払ったらどうなるだろうかとかいろいろ出来ることがあるように思います。)

神経生理学者としてはGenerative modelのようにいくのが正統派な気がします。生成モデルを作るということは脳の応答をcharacterizeするということなわけですから。ただ、このあいだの視覚研究会での神谷さんの質問の受け答えを見てわかったのですが、なるたけdata drivenかつmodel-freeでいくことを貫こうとすると、discriminative model的に行く意義があるのかもしれないと思うようになりました。それで、ほんとうはなんか両者の統合が出来たらいいんじゃないかと思うんです。つまり、まだじゅうぶん生成モデルを作れないような状況下では成績の良いdiscriminative modelを作るのが先で、data-drivenにdecoderを作ってやって、それの逆変換からgenerative modelを作るとか、なんらかつなげて考えればよいわけです。どのくらいそれが可能なのかはよくわからないのだけれど。

たぶん方法論的な制約の問題もあって、fMRIだからdiscriminative modelから始める意義があったということになるかもしれない。これまでの神経生理では個々のニューロンの順モデル(=tuning curve)を作るのは容易だったわけで。しかし、ニューロン記録が同時大規模なものになったときには順番を逆にして考えた方がよいかもしれない。どのように情報がencodeされているか(高次のinteractionの成分とか)は自明ではない。だから、どのような情報を持っているかをまずニューロン集団の活動からdecodeしてやる。そのうえでニューロン集団としての順モデルを作る、というような順番が必要なのかもしれません。

Decoding-encodingをつなげる、という意味で重要だなと思ったのが最近のレビューの"Looking for cognition in the structure within the noise" Trends in Cognitive Sciences 13(2), 2009, Pages 55-64です。これは海馬のplace cellの話に関するものですが、encodingとdecodingとspike patternのreconstruction (generative model)とを組み合わせることを提唱しています。図式的には以下の通りになります：

• [行動データS_i]と[スパイク列R_i]から[encoding model (tuning curve)]が作れる：R_i = f(S_i)
• [スパイク列R_i]から[encoding model f()]から[行動データのreconstruction S_hat_i]が作れる：S_hat_i = f-1(R_i) (スパイク列の場合、f()からf-1()が作れる)
• [encoding model f()]と[行動データのreconstruction S_hat_i]から[スパイク列のprediction R_hat_i]が作れる：R_hat_i = f(S_hat_i)
• [実際のスパイク列R_i]と[スパイク列のprediction R_hat_i]とを比較する

これでたしかに一周します。もっといろんなやり方があると思うのだけれど(何人かの人はすでに考えているだろうけど、わたしもmicrostimulationのことを考えている)、こういうのを組み合わせた実験デザインがこれからはより重要になると思います。これが川人先生の言う「操作脳科学」の具体例になるのだと思います。

関連する話はShuzoさんの「ノイズ」の中の脳機能およびしかさんの「神経科学における検証に再構成を使う」にあります。文脈的にうまくつなげられなかったけど。

あう...見直してみた。Generative modelうんぬんはちゃんとFrisonの一連の論文とか、Raoのpredictive brainとかそういうところと話をつなげるべきなのだけれど、その手前で息切れしました。ふたたびこのへんに触れるときにはそのへんまで行ってみたいのだけれど。そっちが本丸だと思う。

■ ニューロン記録データの共有

京都で開催された脳プロ分科会に行って「皮質脳波』および「データベース』のセクションに参加してきました。
「皮質脳波』の方ではニューロン活動から細胞外電位ができるまでとその逆推定に関してトークをしてきました。元ネタは以前のブログのエントリ(「細胞外電極はなにを見ているか」)ですが、それでは足りずかなり変更を加えることに。おかげでかなり整理できましたんで、これに関してはまたエントリを作製します。
んで、「データベース』の方ですが、面白かったんでいろいろしゃべりたかったのですが、その場では時間がなかったのでこちらでまとめます。
神経科学者SNSとブログに同じものを投稿しておきます。どちらでもコメントしやすいほうにコメントしていただけるとありがたいです。
藤田保健衛生大の宮川さんが遺伝子改変マウスの場合のデータ共有についてお話をされていて、これが面白かったです。宮川さんの最近の論文("Alpha-CaMKII deficiency causes immature dentate gyrus, a novel candidate endophenotype of psychiatric disorders")を例にして、どのようにデータベースが使われているかを説明されていました。論文に沿った話ですのでここに書きますね。Alpha-CaMKIIのノックアウトマウスをデータベースから探してマウスをもらって、行動解析をして統合失調症モデルとしての有用性を示して、Allen Instituteのin situの発現のデータベースからDGに限局して発現しているのを見つけて、ノックアウトマウスではDGでの細胞新生が昂進しているのを見つけて、さらに自前の行動バッテリーデータベースから同様な行動パターンを示すノックアウトマウスを見つけた、といった話でした。(不正確な部分は勘弁。)
これを聞きながらニューロン記録データの場合だったらどのようなやり方が可能かということを考えていました。データ共有における大事なポイントの一つは、どの段階でデータ公開をするかということです。ニューロン記録データの場合、現状のやり方のままでは、実験者はデータをなかなか手放さないだろうと思います。つまり、実験者が自分でデータを解析して、実験デザインの中で重要な部分を解析して、もうこれ以上は得られるものがないというところまでいかないとデータをオープンにはしないだろうと思います。
宮川さんの話を聞いた上でのわたしの憶測ですが(誤解だったら指摘してください)、ノックアウトマウスの場合だったら、ノックアウトマウスを作って、基本的な行動解析をして、in situで分布を見て、もっとも関係ありそうな機能を調べてと、一通りのことが済んだらたぶんそのマウス単独でできることはそんなになくなってしまうんではないでしょうか。だからこそデータベースに上げて、他のgeneのノックアウトマウスとかと一緒にしてデータマイニングをすることで新しい情報を見つけるという経路に入るわけです。そして思いも依らない機能などが見つかれば、マウス提供者としてもありがたい。つまりここには自然なインセンティブ構造、つまりみんながハッピーになる仕組み、ができているというわけです。
だから、ニューロン記録データの場合も同様な切り分け方を考える必要があるのではないか、と考えてました。川人先生がお話しされていたように、データ公開自体の義務かの流れはやってくるだろうし、何らかのインセンティブ構造を作るべきなのはたしかです(たとえばデータ提供が論文出版と同様に評価されるとか)。私がその場で言おうとしていたことは、インセンティブ構造のデザインとは、それを制度的に作ることよりは、遺伝子改変マウスの場合にうまくいっているようなデータの切り分け方(ひとつのノックアウトマウスでできることと、他のノックアウトマウスとの比較でデータマイニングしてはじめて見つかること)を見つけてその実例を示して行くことではないか、ということでした。
そのような見方で上記のニューロン記録データの場合で考えると、遺伝子改変マウスの場合と同様、「そのデータ単独では検証すべき仮説が出てこないので、他のデータとつきあわせてデータマイニングする必要が出てきた場合」ということになるのではないかと思います。そういう意味では、京大の篠本先生が日本各地のニューロン記録データを集めた上で脳の各記録部位(V1からTEからM1からDLPFCまで)のデータ間でのfiring property (inter-spike intervalなどに注目したもの)を解析するということをされていますが、これはデータ共有の仕方として「自然な」流れの例と言えるのではないかと思います。
これから始まるであろう、大規模ニューロン記録データの共有では、もはや実験者では解析が手に負えないという状況になって、実験者と解析者とのコラボレーションが必要となるという状況が生まれることになります。ここにいかにしては上記のような自然なインセンティブ構造によるデータの流れを作るか、というのが目下の問題となるわけです。
ちょっと話が具体的になりすぎたのでもう少し話を散らしますね。
データ共有という意味では昨今のWeb 2.0というやつが参考になります。Web 2.0のポイントのひとつは利用者で率先して自分でメタデータを作る、という点にあります。たとえばアマゾンでの読者の評価、はてなブックマークでのコメント、こういったもの自体がコンテンツとなってさらに人が集まる、というのが特色です。データ共有という意味で参考になるのは、Web 2.0では、データの作成者と使用者が一緒、とまではいかなくても重なった集団であるということです。こういったメタデータの作成者はそのサービスのヘビーユーザーです。
ひるがえって研究データの共有の場合はどうなんでしょう。ここは質問ですが、遺伝子改変マウスの場合はどうでしょうか？ 遺伝子改変マウスの作成者自体がデータベースのヘビーユーザーなのではないでしょうか。だからたぶん、ニューロン記録データの場合も、データを作成する実験者自体がそのデータベースのヘビーユーザーとなるようでないと立ちゆかないのではないかと思うのです。
悲観的なもの言いのように聞こえるかもしれませんが、私としてはこのようなことを考えたうえで、自分で使いたくなるようなデータベースがなんだかを見つけることができたら、きっとうまくいくんではないかと思うんで、そういうデータベースがなんだか考えましょう！ それを考えついた人が次世代偉くなると思う。(いや、偉くならなくていいんだけど。)
追記：神経科学者SNSの方でたくさんコメントをもらってます。宮川さんからもレスポンスをいただきました。アカウントがある方はぜひそちらでコメントを。
追記：神経科学者SNSでのつづきのわたしのコメント：
宮川さん、どうもありがとうございます。そんなに的外れなことは言ってなかったようで、安心しました。
Neuroshareは面白いと思いました。赤崎さんのお話を伺った限りだとまだそんなにアクティブではないようですが、データ共有はこの形にしてもよいのではないかと思いました。違う会社のデータの解析を統一した環境で行えるという点が既にメリットになっていると思います。R Andersenラボにこのあいだ見学に行ったのですが、ラボにはcyberkineticsあり、tucker davisあり、plexonありというかんじで、データ処理の環境の統一がなかなか大変そうな印象を受けました。
吉岡さんのときに私もコメントしましたが、それぞれの会社のバイナリでデータを共有するといろんな人がアクセスできるというわけにいきません。じっさい、たしかaxon instrumentsの新しいファイル形式は公開されていない(必要だったら個別に聞けみたいな)はずです。
Neuroshareはいまのところまだ会社主導で、十分にソフトウェアとかが整備されていないようですが、将来的には、いったんNeuroshareにデータを移すと解析が便利だというかんじになるとよいと思います。それには解析ソフトの整備もありますが、実験者自体がどんどんmatlabの scriptとかを掲載していって、解析のプラットフォームはこのレベルにした方が良さそうだ、というレベルまでいけばデファクトスタンダード化すると思います。
臼井先生が「オールジャパン体制で」というフレーズで日本の一部の人ではなくて日本全体での取り組みを強調されていましたが、今回の話し合いでは海外の類似プロジェクトとの関連の話はなかったと思います。私自身は特に利害関係がないのでべつに日本国内にこだわらなくてもよいのではないかと思ってます。すくなくとも、Neuroshareの話の場合は関連する海外のプロジェクトに積極的にコミットするというスタンスでもよいのではないかと思いました。じっさい、赤崎さんのPOMUはAertsenのFINDとかとも相補的な関係にありそうですし。

■ BMIシンポの予習

ざっと論文など関係資料をかき集めてみたところ。敬称略にて。

[川人光男]
東大医講義2006 「計算論的神経科学 相関を超えて因果律に迫れるか？」(pdf)

[Niels Birbaumer]
Psychophysiology. 2006 "Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control"
Clinical Neurophysiology 2002 Invited review "Brain–computer interfaces for communication and control"

[Koichi Sameshima]
Biol Cybern. 2001 "Partial directed coherence: a new concept in neural structure determination"
J Neurosci Methods. 1999 "Using partial directed coherence to describe neuronal ensemble interactions"

[Miguel Nicolelis]
TINS 2006 "Brain–machine interfaces: past, present and future"
PLoS Biol. 2003 "Learning to Control a Brain–Machine Interface for Reaching and Grasping by Primates"

[小池康晴]
Neuroscience Research 2006 "Prediction of arm trajectory from a small number of neuron activities in the primary motor cortex"

[Eilon Vaadia]
The Journal of Neuroscience 2005 "Emerging Patterns of Neuronal Responses in Supplementary and Primary Motor Areas during Sensorimotor Adaptation"
PLoS Biol 2004 "Learning-Induced Improvement in Encoding and Decoding of Specific Movement Directions by Neurons in the Primary Motor Cortex"

[佐藤雅昭]
NeuroImage 2004 "Hierarchical Bayesian estimation for MEG inverse problem"

[神谷之康]
Current Biology 2006 "Decoding Seen and Attended Motion Directions from Activity in the Human Visual Cortex"
Nature Neuroscience 2005 "Decoding the visual and subjective contents of the human brain"

[櫻井芳雄・高橋晋]
The Journal of Neuroscience 2006 "Dynamic Synchrony of Firing in the Monkey Prefrontal Cortex during Working-Memory Tasks"
Neuroscience Research 2003 "A new approach to spike sorting for multi-neuronal activities recorded with a tetrode—how ICA can be practical"
J Neurophysiol 2003 "Automatic Sorting for Multi-Neuronal Activity Recorded With Tetrodes in the Presence of Overlapping Spikes"

[Eberhard Fetz]
Nature 2006 "Long-term motor cortex plasticity induced by an electronic neural implant"
Journal of Neuroscience Methods 2005 "An autonomous implantable computer for neural recording and stimulation in unrestrained primates"

[Joseph Rizzo]
HARVARD GAZETTE ARCHIVES

[八木透]
人工眼プロジェクト

■ BMIと脳の可塑性

Nature 11/2 "Long-term motor cortex plasticity induced by an electronic neural implant" Andrew Jackson, Jaideep Mavoori and Eberhard E. Fetzが出ました。
シアトルのUniversity of WashingtonのEberhard E. Fetzは第一次運動野の仕事を続けてきた大御所で、うちのラボとも関係が深いのですが、そこで進んでいたneurochipの仕事がNatureになりました。今年の神経科学大会でもfirst authorのAndrew Jacksonがこの話をしていたので、そこで話を聞いた方もいるかと思います。ちなみに8/14のエントリのイギリス人とは彼のことです。
話としては、nhpを使ったBMIの研究なのだけれど、M1のある領域のニューロン活動を記録して、べつの領域のニューロンを刺激して強化してやると、刺激された部分のニューロンの反応特性が記録部位と同じようなものに変化した、というわけです。 彼らはBMIのデバイスを使って、M1のある領域のニューロン活動を記録して、そこの活動と同期させてべつの領域のニューロンを刺激しました(条件付け)。そうすると、記録してた領域のニューロンの出力特性が変化して、条件付けを止めてもその効果は持続した、という話です。もともと記録部位CAは筋肉MAを支配していて、刺激部位CBは筋肉MBを支配していたのだけれど、条件付けによって、記録部位CAが筋肉MAとMBとを支配するようになった。だからこれは、条件付けによって記録部位CAから刺激部位CBへの情報伝達が強化されたということだろう(そして、記録部位CAの活動が刺激部位CBを介して筋肉MBに届くようになったのだろう)、と考察しています(11/5追記訂正)。 Shuzoさんのブログでもこの論文に言及してますのでそちらもどうぞ。
ちなみに、彼らのところの装置はスタンドアロンで記録も刺激も出来る。長時間連続記録をすることができて、データはチップ内に記録されて、赤外線のワイヤレス通信でデータのやりとりなどが出来ます。くわしいmethodはすでにpublishされてます(Journal of Neuroscience Methods 2005)。かなり他とは設計思想が違っていて、実現に近い方向を向いていると思います。彼らの研究が他のBMIの研究者と違っている点のひとつは、記録したデータを使ってロボットアームを動かすとかせずに脳に戻してやって、脳を刺激するのに使っている、という点です。このようなストラテジーについてはNicorelisもTINS 2006 ("Brain–machine interfaces: past, present and future")でワンパラグラフ使って言及しています(11/5追記)。
今回の論文はFetzさんの初期の仕事を近代的なBMIでもう一回捉え直した、という側面があります(なんでかわからないけれど、Nature論文ではreferされていない)。Fetzさんは60年代後半から70年代前半にすでに、M1のニューロンを記録しながらそのスパイクの音をフィードバックとして与えて報酬で強化させると、そのニューロンの発火頻度を上げることができる、ということを示して(11/5追記)います(Science 1969, Science 1971, Brain Research 1972)。Shuzoさんが書いている「closed systemの先駆的研究」というのはこれのことです。Fetzさんがセミナーをしに来たときにはたしか、1972 Brain Researchの図を持ってきて、強化されたニューロンの隣のニューロンはまったく反応特性が変わってない、というようなことを出していて、それって解剖学的にあり得るんだろうかと驚いたおぼえがあります。
このような可塑性を脳が具えているであろうことは確かで、これをいかにBMI/BCIの局面で利用してゆくか、ということが今後重要になると思います。RA AndersenのBMIがparietal cortexから記録されていたのも、どこからの記録が一番有効かという点でM1のようなハードワイヤーされている部分よりも、行動の計画に関わるparietal cortexを使う方がよいから、みたいなjustificationをしていたと思うのですが、脳の可塑性を考えるとどこでもいいんじゃん、とも言いたくなる。一方で、他の行動といかに干渉せずに可塑性を活用できるか、というのが課題だ、みたいな言い方も出来ます。
私自身の興味としては、このような可塑性によってどのようにwhat-it-is-likeが変わるのかという、Hurley and Noë論文での問いにどうempiricalなデータが追加されるか、というあたりです。つまり、closed loopにすることによって、sensorimotor contingency/dependencyが成立することが意識にとってどのようなものとして捉えられるか、ということですね。
あ、ちなみにCRESTのBMIシンポ参加しますんで、京都でお会いしましょう。ちなみにFetzさんのトークは11/8です。

■ PNAS 12/21

Jonathan R. Wolpaw, and Dennis J. McFarland "Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans" OPEN ACCESS PNAS 101: 17849-17854 [EndNote format]
12/11にAOPに言及したやつが出版されました。OPEN ACCESSです。
もういちど。脳表からのEEG記録による非浸襲的な方法(BCI: Brain-computer interface)を使うことで、浸襲的な方法（Miguel NicolelisやAndrew SchwartzなどによるBMI: Brain-machine interfaceで電極を脳に埋め込んでニューロンの活動からカーソルなどを動かす）に匹敵するぐらいの正確さ、速さでコンピュータのカーソルを動かすことに成功したとのこと。
詳細はよくわからないけれど、adaptiveな方法でこれまでよりもカーソルの動きの正確さなどを上げているらしい。二次元の動きなので自由度が二つあればいいわけだけど、Fig.1を見るかぎり、ある被験者では脳波の24Hz成分のパワーを記録して、記録部位の2点（第一次運動野/第一次体性感覚野あたりの電極を左右2点）間でのパワーの比の大小でもって垂直成分のコントロールに使用しているらしい。同様にして12Hzの成分でもって水平成分のコントロールをすると。んでカーソルの動きを計算するときの重み付けを練習を積む段階でそれまでの試行のエラーを加味してオンラインでadaptiveに変化させてゆくと。なんか書いているだけだとかなり原始的な感じはするのですが。
被験者としては二人の脊髄損傷の患者と二人の健常者とで行っています。正しい位置までカーソルを移動するのに脊髄損傷の患者で1秒くらい（すでにBCIを使ったコントロールの練習をたくさんしている）、健常者の被験者でも2、3秒くらいで移動することができています(Fig.2)。この脳波によるコントロールは筋電図とは相関していない(Fig.3)と。健常者ですら。これはニコレリスとかのBMIとかでも見られる現象だけれども（被験者ははじめのうちは自分の手を動かしてカーソルを移動しているけれども、そのうち手を動かさなくてもいいことがわかると手を動かさずにカーソルだけを移動させるようになる）。
見た限りmethodologicalにはそんなに大きなブレークスルーがあったようには見受けられないのだけれど、かなり実用度は上がっている様子です。
ムービー(2.9MB mov)もダウンロードできます。ってなんでmovだけですか。QuickTimeインストールしたくないんだけど。mpegとmov両方あるようにすべきではないでしょうか。というわけでムービーは見てないです。
というわけで詳細は読んでいないけれども、なにによってそれだけ速く正確にカーソルを移動できるようになったのか、そのあたりを読むべきでしょうな。

■ Science Andersen論文つづき

"Brain Waves: Cognitive-based Neural Prosthetics"にて、Andersen論文が採り上げられてます。

■ Science 7/9

"Cognitive Control Signals for Neural Prosthetics." R. A. Andersen @ caltechでNeural Prosthetics来たっすよ！ 以前からannual reviewとかでもそっちを意識しているのはわかっていたけれど。
タイトルを読んだ印象：いままでのNeural Prostheticsってのは脳の信号を使って物を操作する、つまり運動機能の代替をしてやろうとするものだったわけです。たとえば、NicorelisやらSchawartzやら。んでもって、今回の論文ではもっと高次の指令("cognitive control")を脳から取り出してやろうというわけですな。選択のレパートリーが少なければ（Andersenですから、たとえば二つの選択肢のどっちへのmotor intentionを持っているか、とか）、それ自体は簡単なことのようにも思えるのですが。
アブスト読んでみました。うーむ、たんにM1からの信号ではなくてparietal reach regionからの記録でコンピューターカーソルを動かしただけのようにも思えるのだけれど（そんなもん、M1だろうがPMだろうがPPCだろうが可能な気がするし）。
また、この記録から、Expected value signals (= expected magnitude of rewardやらexpected probability of reward)に関わる信号が記録された、というのもLIPでのsaccadeタスクで見つかってくるのと同じ話だし(この前のNewsome論文、それからPlatt and Glimcher論文とか)。よって話としてはM1やPMからの記録でneural prosthesisするのと比べてメリットがなんであるかが焦点となることでしょう。アブストを見るかぎり、goalに関する情報とvalue signalに関する情報との両方がモニターできる、という点のようなんだけれど、それだけではM1からの記録のadvantageを越えられないように思います。
それは別として面白い問題であるのはたしかです。今回はカーソルを動かすだけのようですが、もしgoalの情報だけが得られて、それでロボットアームを動かしたらどうなるでしょうか。以前盛んに書いたように、goalのpositionという情報は関節の角速度のようなキネマティックな量に変換され、それが筋肉の張力のようなダイナミックな量に変換されます。つまり、goalの情報だけ与えられてもそれを実現するためのキネマティックまたはダイナミックなパラメータの組み合わせは無限にあるのであって、それの中のなにが選ばれるのか、というかいったいなにが起こるのか、ということに興味があります。
以上、まだ本文も図も読んでません。続きます。
追記：SI読んだところ、Plexon使ってるらしい。

■ バイオフィードバックとneural prosthesis

"念じるだけでゲーム操作　米で実験成功" CNN

チームでは、てんかん患者の発作の原因を調べるため頭部を切開し、脳の表面に多数の電極を取り付ける手術に注目。患者の中から被験者４人を募り、電極を付けた状態でゲーム操作を試みる実験を行った。
報告によると、被験者は脳からの信号によってゲーム機を直接操作するために、数分間の簡単な訓練を受けた。その後３０分以内に、全員が標的を狙う方法を習得。

なんかneural prosthesisみたいに書いているけど、ほとんどバイオフィードバックだと思うんだけれどいいんだろうか？ とはいえ、この両者は無関係ではないし、single unit - multi unit - local field potential - EEGというふうないろんな空間解像度を持った情報をneural prosthesisに利用する可能性はあります。と思ったら、脳表に電極を当てているようですんで、頭蓋骨の上からの脳波を取っているわけではなくて、そんな簡単に応用できるような話でもないようです。
なお、この論文は"Journal of Neural Engineering"から現在はフリーでダウンロードできます。"A brain-computer interface using electrocorticographic signals in humans."(pdfファイル。リンク直しました) EEGではなくてECoG (electrocorticogram)ですね。しかもFig.1aを見るとsubdural (硬膜下)に電極のシートを置いている。血管とか大丈夫なんだろうか。
お、Ojemann JGがauthorに入っている、と思ったらOjemann GAとは別人物らしい。しかもBrain '92 "Neuronal activity related to faces and matching in human right nondominant temporal cortex."を見ると連名になっているので、親子か兄弟かなんからしい。まぎらわしい。

■ Andrew Schwartz

Andrew Schwartzのwebサイト（reprintとpreprintとmovieがたくさんあるのでお勧め）。
Andrew SchwartzはGeorgopoulosのところでM1ニューロンのpopulationコーディングについての研究をはじめた。Spiralを描く手の動きをM1ニューロンのpopulationコーディングで再構築することに成功している（1994 Science）。それからサル及びヒトでの3D virtual reality systemの構築をしており、サルが腕を空間中で動かすのをoptotrakでdetectしてステレオ画像をゴーグルに投射する、ということをやっている。
またさらに、このシステムを使ってneural prosthesisのシステムを開発しようとしている。つまり、ニコレリスみたいなやつで、M1ニューロンの活動を使って3D virtual realityシステムやロボットアームを動かそうというもの。これはムービーがダウンロードできる。これに関する論文はScienceのarticleになっている。
今回話す内容はこのneural prosthesisについて。Annual Review of Neuroscienceのプレプリントがあるのでたぶんこの辺でしょう。また、関連するパワーポイントのファイルが公開されている。
ちなみに2003にScienceにM1とPMvのactivityを比較した論文があるのだけれど、この論文はPMvがintended movementをrepresentし、M1がmovement commandをrepresentしているとして、内部モデルとの関与を示唆している。しかし（中略）ぜひバトルを期待したいところ。

■ Science

"Differential Representation of Perception and Action in the Frontal Cortex."
たとえば、Schwartzの論文と蔵田先生の論文との関係が前に取りざたされていたけれど、Schwartzという人のヒストリーを見ると結局この人はmotor cortexの人であって、Georgopoulosのところから出てきて、独立してから螺旋とかを手の平で書いているときのM1の活動のpopulation vector表現をしてScienceに出したりしている。そうなると今回のScienceの主眼はやはりpopulation vectorによって楕円を表示させるところだと思うし、3DVRシステムを作ってneural prosthetics（Annual review of Neuroscience '04のpreprint）をやりたいんだということなんだと思う*1。Premotorの扱いに関しては新参者なところが少なからずあったのではないかと邪推する。もちろんそれでもKurata '02を故意に無視しているのは間違いない。蔵田先生の論文は02/12/1に出版されていて、Schwartzのは03/7/9にsubmitされている。
追記：いや、ナイーブ過ぎるな、これ（「Premotorの扱いに関しては新参者」）。Retractしときます。

*1：ところでneural prostheticsは重要だしバブルだと思う。Nicolelis以降、もうNatureはただのタスク中のsingle-unitというのはもはや取らないんではないか、という危惧もある。

■ 1/16のScienceつづき

1/16のScienceつづき
"Differential Representation of Perception and Action in the Frontal Cortex."
もう少し読み進めてみたところ、PMvニューロンのうち、感知された動きに遅れて活動するもの(おそらくvisualなニューロン)と感知された動きのちょっと前に活動するもの(おそらくmotorなニューロン)とでどちらも実際の動きではなくて感知された動きのほうをコードしているらしい。このことはつまり、前者のニューロンが「感知された動き」を見てvisualな応答をしているということだけではなく(こっちはあたりまえ)、後者のmotor系のニューロンが「感知されたように動かそうと意図した動き」とこのあいだ書いたやつ、ちゃんと書けばforward modelのoutput(motor commandをinputにして出てきたoutputの軌道)になっている、ということらしい。これがefference copyとなって戻ってゆくということか。Perspectiveの図を見る限り。(まだ読んでないが。)
ん？Neuroreport '03の"Connecting mirror neurons and forward models"
を読んだ限り、PMvにはinverse modelのoutputがあるほうが自然な気もするが。こんがらがってきた。
追記。やってること自体は原理的には蔵田先生のプリズム適応(JNP'99)と同じような気がしてきた。あれのデータではどうだったっけか？

■ Science

"Differential Representation of Perception and Action in the Frontal Cortex."
Andrew Schwartz @ University of Pittsburgh。
ガヤからお呼びがかかったのだが、風邪を引いたので手短かに。
Motor illusionを使って、実際の動きと、感知された動きとが分離するような状態を作ると、実際の動きはM1で、感知された動きはPMvで表現されている、というもの。
PMvというのはRizzolattiらが見つけたmirror neuron*1のあるF5が含まれる領域で、感知された動きがPMvで表現されている、というのは予想可能なことだ。まだ読んでないのでわからないが、はたしてこの「感知された動き」というやつが「意図された動き」ではないのか(ややこしく言えば、「感知されたように動かそうと意図した動き」)、その辺を検討する意義がありそう。
Andrew Schwartzも今度のシンポジウムに来るので要熟読。というわけでくわしくはまた。

*1：前運動野のニューロンで、ある動作(たとえばつまむ動作)をするときにのみ活動し、さらには、その動作をしている(他人がつまむ動作をしている)のを見るときにも活動するもの。言語、共感、社会性などへの関与など、いろいろな含意によって盛り上がり中。

お勧めエントリ

• 細胞外電極はなにを見ているか(1) 20080727 (2) リニューアル版 20081107
• 総説 長期記憶の脳内メカニズム 20100909
• 駒場講義2013 「意識の科学的研究 - 盲視を起点に」20130626
• 駒場講義2012レジメ 意識と注意の脳内メカニズム(1) 注意 20121010 (2) 意識 20121011
• 視覚、注意、言語で3*2の背側、腹側経路説 20140119
• 脳科学辞典の項目書いた 「盲視」 20130407
• 脳科学辞典の項目書いた 「気づき」 20130228
• 脳科学辞典の項目書いた 「サリエンシー」 20121224
• 脳科学辞典の項目書いた 「マイクロサッケード」 20121227
• 盲視でおこる「なにかあるかんじ」 20110126
• DKL色空間についてまとめ 20090113
• 科学基礎論学会 秋の研究例会 ワークショップ「意識の神経科学と神経現象学」レジメ 20131102
• ギャラガー＆ザハヴィ『現象学的な心』合評会レジメ 20130628
• Marrのrepresentationとprocessをベイトソン流に解釈する (1) 20100317 (2) 20100317
• 半側空間無視と同名半盲とは区別できるか？(1) 20080220 (2) 半側空間無視の原因部位は？ 20080221
• MarrのVisionの最初と最後だけを読む 20071213

月別過去ログ

[2024]

5|

4|

3|

2|

1|

[2023]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2022]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2021]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2020]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2019]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2018]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2017]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2016]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2015]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2014]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2013]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2012]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2011]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2010]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2009]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2008]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2007]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2006]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2005]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2004]

12|

11|

10|

9|

8|

7|

6|

5|

4|

3|

2|

1|

[2003]

12|

11|

8|

7|

[2001]

10|

8|

6|

5|

4|

2|

[2000]

12|

9|

8|

7|

6|

3|

2|

1|

[1999]

9|

8|

7|