[カテゴリー別保管庫] 逆相関法 (reverse Correlation)

Hasson et.al., Science '04を元に、Reverse Correlation (逆相関法)を非線形的な刺激応答特性を持った高次視覚野で非ランダムな刺激を使っておこなうことの是非について議論してます。

2005年02月28日

Theoretical neuroscience

Kさんご紹介の"Theoretical Neuroscience" Dayan and Abbott, The MIT pressを見てみました。たしかに今回の話題の整理によさそうです。紹介どうもありがとうございます。
Chapter 1で基本的な項目としてtuning curveやspike-triggered averagingやinterspike intervalの統計などについて書かれていて、Chapter 2ではreverse correlationによるearly visual cortexのreceptive field mappingについてかなり詳しく書かれています。Receptive fieldの時間変化パターンと空間パターンとが独立でないような例(nonseparable space-time receptive field)に関する記述もあり。このchapter 1-2のところでreverse correlationとspike-triggered averagingとの関係に関する記述もあります。(ちなみにchapter 3は"neural decoding"ということでベイズの法則やROCカーブ、populationコーディングについて、chapter 4ではニューロンの発火と外界の刺激との間での相互情報量の解析について書かれています。)
というわけでこの本をもとにKさんのコメントについてまとめるとこんな感じになります。まずご指摘の式(2.6)はこちらです:

一入力のときのkernel は入力が無相関であるときに、刺激とニューロン発火との間の相関から計算することができて、しかもこれはspike-triggered average の定数倍(平均発火頻度)である、ということでした。それで、reverse correlationとspike-triggered averageとの関係は式(1.19)-(1.22)で導出されていて、この等式はtrialごとのスパイクの数が十分に大きいときに成り立つ(式1.19)、ということだそうです。よって、Spike-triggered averageを計算したときに、入力が無相関でなければシステムのWiener kernelを正確に計算したとは言えないけれども(式2.6の1番目の等式)、reverse correlationを計算した、ということはほぼ妥当に言える(式2.6の2番目の等式)、ということのようです。なるほど、どうもありがとうございます。
それから、Ringach and Shaply '04はpdfが公開されているようなので、リンクしておきます。"Reverse correlation in neurophysiology",Dario Ringach,Robert Shaply,Cognitive Science 28(2004),147-166(pdf file)


2005年02月26日

Reverse correlation追記

なお、逆相関法に関する基本的な説明に関しては、大澤五住先生@阪大基礎工のサイトをご覧いただくのが一番はやいかと。


2005年02月24日

「V1の人」さんへの返答

20040315のreverse corelationに関するエントリに「V1の人」さんからコメントをいただきましたのでこちらで返答を。

まずは参入ありがとうございます。Early visual関連の方でコメントされている方は少ないので、ぜひ、ほかの項目にもコメントございましたらお願いします。(たとえば、さいきんのMovshonのNature Neurscienceのplaid論文でのPack and Bornへの無視っぷり、あれはさすがにひどいと思いませんでしたか?)

「刺激への応答が線形的であって高次の作用がないこと」が保証されていないといけないというよりも、「」内のような仮定で解析を行うことにより(たとえ高次の作用があったとしてもそれをaverage outして)線形成分のみを抽出する方法である、と捉えた方が良いのではないかと思います。

なるほど、そうでした。応答するシステム自体は非線形でもよいわけで、無相関の刺激を使うことによってそれぞれの項(一次の項、二次の項、…)を独立にして、cross correlationを使ってそれぞれの項のkernelを計算する、という話でした。("Spikes"のappendixなど読み返してみたりしてます。)

そうなると私の言おうとしていたことは、「刺激が無相関でない(ホワイトでない)ときに何が起こるか」というところに集約されて、それは近年のnatural imageを使ったreverse-correlation-likeなreceptive field mappingの研究、たとえば

このへんあたりがやろうとしたことと関連あるのかな、と思いあたりました。

刺激空間に関して雑感ですが、reverse correlationで使うような刺激パターンは高次視覚野を充分にはdriveしないわけですが、それでも、たとえば、その刺激パターンがものすごい偶然に顔の線画のようになったら顔ニューロンをdriveすることができるわけです。そういう意味では理論上はreverse correlationで最適刺激を見つけることはできるわけです(もちろん空間的にものすごい高次のkernelを見つけるということになり、組み合わせの大爆発が起こるわけですが)。では仮想的に繰り返しを無限に行えるとしたらそういうoptimal刺激群を見つけることができたとしたら、あとはその刺激パターン群を説明できるように次元を下げてやる(「ひとことで言えばそれらは顔です」とか)だけの問題になるのでしょうか。もちろん、高次視覚野をうまいことマッピングするような刺激空間がないであろうことはわかったうえで思うことなのではありますが。

また、無相関でない刺激という意味では、いわゆる"spike-triggered averaging"、たとえば、筋電図をmotoneuronのspikeでSTAして関連する筋を見つけるといった仕事はreverse correlationと違って入力は無相関ではないわけで、その理論背景にも興味があります。

コメントする (3)
# V1の人

 お返事ありがとうございます。いきなりとりあげられてドキドキしてます。

 あと理論的なところといえばJNS'04の元の

Estimating spatio-temporal receptive fields of auditory and visual neurons from their responses to natural stimuli.
Theunissen FE, David SV, Singh NC, Hsu A, Vinje WE, Gallant JL.
Network. 2001

とかでしょうか。求めたいのが空間受容野とか周波数領域での受容野であれば、この辺のように刺激の自己相関で補正するなどしてやれば刺激がnatural sceneでもなんとかなるようです。

一方で、選択性のある軸がそもそもよく判らない場合は補正の仕様もないし、もうあんまり数学的な枠組みとは関係ないところで、活動が起きたちょっと前の刺激を集めてきて何が良かったのか「人が」「後付で」検討しましょうというのが元ネタ(Hasson et al. Science 2004)の考え方なんでしょうねえ。刺激セットを刺激間インターバルなしで与えて後ろ向きに相関を求めれば何でもreverse correlationということでしょうか。

 おっしゃる通り、理論上はホワイトノイズ刺激の反応からもっと高次の選択性(顔など)を求めることは可能だと思います。実験する立場からしてもassumptionfreeで使えるホワイトノイズはいろいろ便利です。(assumptionは解析時に入れてやればいいわけですね。いろんな空間を探索して選択性のある軸を探すと)。高次でもV4ぐらいまではノイズで解析できたという話が去年のSFNでありました。

そのSFNで発表していた人(たしかLivingstone labの人)はまた別のアプローチも行っていて、V4細胞の受容野にnon-Cartesian Grating等の刺激(Gallant et al 1993,1996)を高速に提示してreverse correlationすることで、刺激セット内のどの刺激クラス(たとえば同心円等)に対してよく反応するのかということを計測していました。これが出来るのなら藤田先生@阪大が使われているような「1:顔 2:手 3:唇 4:白衣を着た人 ・・・」みたいな任意の刺激空間(?)でIT細胞に対するreverse correlationをすることも出来る??

 筋電図をSTAするというのは不勉強ながら知りませんでした。なるほどいろんなところで使われているのですね。

# K

>また、無相関でない刺激という意味では、いわゆる"spike-triggered averaging"、たとえば、筋電図をmotoneuronのspikeでSTAして関連する筋を見つけるといった仕事はreverse correlationと違って入力は無相関ではないわけで、その理論背景にも興味があります。

はじめまして、神経科学についてほとんど知らず、意味のあることが言えるかどうか分からないのですが、理論的背景については少し分かるところがあると思うのでコメントさせてもらいます。
まず、"spike-triggered averaging"についてですが、これはある程度調べる対象に仮定をおけば、reverse correlationから出てくる結果と定数倍を除いて等しいことが証明されています。具体的には

"Theoretical Neuroscience",Peter Dayan,L.F.Abbott,MIT Press,2001

のChapter1,2に詳細が載ってあります。より具体的にはその中の式(2.6)です。但しこれは、1入力1出力の系におけるものなので、実際に使われるような入力が平面における刺激s(x,y,t)の入力の場合の正当性については結果だけが示されているだけで、証明されていません(式(2.25)を参照)。
余談ですが、

"Analysis of Physiological Systems:THe whoite noise approach",Marmarelies P.Z,Marmarelies VZ,New York:Plenum Press,1978

のChapter4の最後のほうに多入力1出力の系について載ってあるので、それをもとにがんばれば上のことも証明できるかもしれません。
次に、一般に無相関でない刺激を入れた場合についてのreverse correlationについてですが、

"Reverse correlation in neurophysiology",Dario Ringach,Robert Shaply,Cognitive Science 28(2004),147-166

の記述を見る限りでは

"A Subspace Reverse-correlation Technique for the Study of Visual Neurons",D.L.Ringach,G.Sapiro,R.Shapley,Vision Res,vol37,No 17,2455-2464,1997

において数学的な証明が扱われているようです。(おそらく線形でStatic Nonlinearityをかましたシステムとして扱っていると思います、読んでないので間違ってたらすいません)
そもそも、reverse correlationのもととなったのは

"Nonlinear Problems in Random Theory",N.Wiener,New York:Wiley,1958

においてWienerがVolterra expansionをGaussian white noiseに対して直交化するように変形したのが始まりだったと思うので、WienerのCyberneticsと関係して、制御理論(もしかしたら関数解析学)の方で、このことに関する厳密な理論が展開されているかもしれません。(まったく調べていないので分かりませんが)

# pooneil

Kさん、ご紹介どうもありがとうございます。さっそく"Theoretical Neuroscience"読んでみました。2/28のエントリでまとめておきましたのでよければご覧ください。


2004年03月24日

reverse correlation続き

以前Clay Reidの論文でm-sequenceを使ってRFマッピングをするような論文を読んだことがあったんだけれど、そのときにシステム同定について少し調べたことがある。復習がてら(参考"Nonlinear reverse-correlation with synthesized naturalistic noise." )。

で、response y(t)=f(x(t)) (x(t)は複数の刺激の組み合わせで、f(x1(t),x1(t-1),...x2(t),x2(t-1),...)と書くのが正しい)をVolterra expansionすると、y(t)は一次のcorrelationの項(V1)と高次なcorrelationの項(V2,V3...)とに分解される。よって、linearな項だけでresponseを説明できているという保証はない。刺激をgaussianのwhite noiseにすると、それぞれが独立になるような一次(G1)、二次(G2)、…の項に分解し直すことができる。このそれぞれのG1,G2とかがWiener kernelで、それぞれの項のkernelは入力x(t)の各項と反応y(t)のcorrelationから計算できる。よって、刺激がホワイトノイズでなければ一次な項(G1)と高次の項(G2…)、との独立性は保障されていないし、刺激と反応のcorrelationから各次の項のkernel(つまり反応の選択性、tuning。たとえばRF)を計算することもできない、となるはずなのだけれど。うーん、わからない。

で、Science論文のdiscussionを探してみると、記述発見。

... given the complexity and multidimensionality of each frame, it will obviously be impossible to isolate the appropriate functional dimensions solely on the basis of the reverse-correlation method. Thus, the reverse-correlation should be viewed as a complementary tool for evaluating putative selectivities found under natural vision and for "pilot" searches ... (discussionの最終パラグラフ)

うーむ、これで回避できたらしい。


2004年03月15日

Reverse correlation

いまだ読んでないんでreverse correlation自体の話に逸れてみる。そもそもreverse correlationって刺激に独立性がなくても成り立つんだろうか?(V1のreceptive fieldを決めるとかの時にはランダムな刺激を使うし。) とくに刺激への応答が線形的であって高次の作用がないこと(時間-t,-t+1,...-1での刺激S(-t), S(-t+1),...S(-1)への時間0での応答がf(S(-t) )+g(S(-t+1) )+...z(S(-1)であって、二次以上の項、たとえばinteraction term h(S(-t),S(-t+1) )などに依存しない )が保証されてないといけない気もするのだけど、どうなんだろう。とくに、今回の刺激には時間的相関があるわけだから。いや、世ではLIPのニューロンのRFにreverse correlationを使ってたりするのもあるし、名前は違うけどspike-triggered averagingなんてやってることはreverse correlationと同様だと思うんだけど、いろんなところで行われているし、fMRIでのevent-relatedっていうのもevent-triggered averagingなわけで、変な相関(呼吸とか低周波成分とか)がでないように苦労したりするはずで。このへんってほんとのところどうなんだろう。

コメントする (2)
# V1の人

はじめまして。最近こちらのページの存在を知り、楽しく拝見させて頂いています。
だいぶ前の話なのでコメントを書いても見てもらえるか判りませんが・・・
reverse correlationについてですが、通常使われている意味でいえば(たとえばJones & Palmer 1987; DeAngelis et al 1993のような使い方をするならば)
「刺激への応答が線形的であって高次の作用がないこと」
が保証されていないといけないというよりも、「」内のような仮定で解析を行うことにより(たとえ高次の作用があったとしてもそれをaverage outして)線形成分のみを抽出する方法である、と捉えた方が良いのではないかと思います。
たとえばV1の単純型細胞にしても完全に線形成分のみで反応が説明できるかというとそうではない(Baker 2001等)わけですが、高次相関のないノイズで十分長い時間記録を行えば高次作用の影響はaverage outされます。そうして得られた結果がたとえばV1のいわゆるlinear receptive fieldという形で観察されるものになります。
逆にいうと、線形(+average outされた高次)成分が全くないシステムでない限りreverse correlationを行えば何らかの信号は出てくると思います。それがどの程度意味のある信号なのかはそのシステムの線形成分がどの程度dominantなのか?によると思います。
NHKさんもご指摘の通り、「未知のneural correlateをスクリーニングする」ための(著者らは"pilot searches"とも言っていますが)最初の一歩として線形性という最も単純な仮定を用いるというのはまあアリなのかなあと思います。
(高次作用を可視化するためにもreverse correlationを使うことはできますが、上ではよく使われている線形受容野を求める際の解析法について述べました)
刺激に時間的相関があるのにそれを補正せずに解析している点は問題があると思います。といっても刺激空間が自明でないのでどうやって補正したらいいのかというとちょっと謎ですが。
いきなりいっぱい書いてすみません。

# pooneil

どうもはじめまして。コメント書き込みがあるとメールで連絡されるようになっているので、コメントがあったこと自体はすぐにわかっていたのでが、お返事が遅れました。どうもすみません。新しいエントリの方(http://http://pooneil.sakura.ne.jp/archives/2005/02/v1_1.html)に返答を書きました。また、関連スレッドを一つのサブカテゴリに分類しました(http://pooneil.sakura.ne.jp/archives/cat2/reverse_correlation_/index.html)。よければご覧ください。いきなりいっぱい書いちゃってください。よければ直メールでこっそり自己紹介していただけるとさらにありがたいです。


2004年03月13日

Science "Intersubject Synchronization"

昨日のScience論文についてshimaさんの日記 3/12(見てますよ)のコメントあり。Reverse correlation自体が新しいわけでもないしなあ。Free-viewingで電気生理、みたいなやつはあるし、エコロジカルな条件で脳を研究したい、という複雑かつ意地悪く言えば中途半端な*1研究がどうやればうまくいくのかなあ、ということは考える(読む気なさげ)。


*1:電気生理という非常にデザインされた枠組みを崩すわけでもなければethologyには行くわけでもない、という意味で。

コメントする (2)
# NHK

Science論文、確かにreverse correlationは既に在る訳ですが、こんなにも大胆に使うことで、未知のneural correlateをスクリーニングする手段となり得ませんかね?

# pooneil

NHKさん、Mattingley論文以来ですね。「未知のneural correlateをスクリーニングする」、これは確かに面白いかもしれませんね。人間側の行動には呼吸やら手足や眼球の動きやら気分の変化やらものすごいいろんなものが含まれているわけでして、こっちをどう処理するか、というのが本当の問題になりそうですが、たしかに可能性はあるかもしれません。
ただ、reverse correlationをこう使ってよいのか、ということが気になります。このことについては3/15に書きます。


2004年03月12日

Science "Intersubject Synchronization"

"Intersubject Synchronization of Cortical Activity During Natural Vision."
Rafael Malach@Weizmann Institute。
被験者複数にfree-viewingで映画を見せると、初期知覚野以外にもsubject間にsynchronizationがあったというものなんだが、斬新すぎて、すごいのかどうかよくわからない。


お勧めエントリ

  • 細胞外電極はなにを見ているか(1) 20080727 (2) リニューアル版 20081107
  • 総説 長期記憶の脳内メカニズム 20100909
  • 駒場講義2013 「意識の科学的研究 - 盲視を起点に」20130626
  • 駒場講義2012レジメ 意識と注意の脳内メカニズム(1) 注意 20121010 (2) 意識 20121011
  • 視覚、注意、言語で3*2の背側、腹側経路説 20140119
  • 脳科学辞典の項目書いた 「盲視」 20130407
  • 脳科学辞典の項目書いた 「気づき」 20130228
  • 脳科学辞典の項目書いた 「サリエンシー」 20121224
  • 脳科学辞典の項目書いた 「マイクロサッケード」 20121227
  • 盲視でおこる「なにかあるかんじ」 20110126
  • DKL色空間についてまとめ 20090113
  • 科学基礎論学会 秋の研究例会 ワークショップ「意識の神経科学と神経現象学」レジメ 20131102
  • ギャラガー&ザハヴィ『現象学的な心』合評会レジメ 20130628
  • Marrのrepresentationとprocessをベイトソン流に解釈する (1) 20100317 (2) 20100317
  • 半側空間無視と同名半盲とは区別できるか?(1) 20080220 (2) 半側空間無視の原因部位は? 20080221
  • MarrのVisionの最初と最後だけを読む 20071213

月別過去ログ