« ガヤScience article論文 | 最新のページに戻る | ガヤScience article論文 »

■ ガヤScience article論文

つづき。
データは信頼性があるか。
私が一番重大だと思うのは、cortical songの有意度についてだ。Fig.3EFGを見ればわかるように、各種のshuffleで作ったsurrogateデータからできるsequenceの数と比べて、real dataのsequenceの数はずっと多くて、有意である。しかし、ここからが本題。基本的にはjitter=1 frame (=25-100ms)のところで解析しているようなので、横軸の1のところを見て、一番厳しいcontrolであるGのグラフ(で考えるのがフェアだろう)を見ることにすると、realデータで見つかるsequenceのうち半分近くはshuffleしたデータでも説明できることがわかる。(つまり、統計の検定で、alphaを考慮するだけでなく、 betaの考慮すべきであると言い換ええられるか。)ということは、それの組み合わせから作られるcortical songがby chanceでないsequenceのみから作られている可能性はずっと低くなる。
テキストにはcortical songは2-8 sequence (mean 6.2 sequences)から出来ていると書いてあるから、6個のsequenceのcortical songについて考えてみることにしよう。単純計算で、50%のsequnceがartifactとして、 平均6 sequenceからなるcortical songがartifactではないsequenceのみから出来ている確率は(0.5)^6 = 1.5%だけだ。低く見積もって30%のsequenceがartifactとしても、11%のみがartifactを成分に持たない。つまり、平均6 sequenceからなるsongのうち、本当に有意なsongに含まれるsequenceの数はずっと少なくなるであろう。また、検出されたsongのうちで有意なものが目減りする可能性もある。
SupplementのFig.7では、cortical songがby chanceで起こっていない証拠として、detectされたsongのsequenceをshuffleして、そこからできるsongの数が有意に多いことを検定している。このfigureのたとえばB7を見ると、real dataのsongの数60のうち、surrogateデータから説明できるsong数は45くらいになる。つまり、3/4はby chanceで説明できてしまう。しかも、このfig.S7の検定は、detectされたreal dataのsequenceを使ってshuffleしているので、上のパラグラフで私が指摘したような、このsequenceがpseudo-positiveである可能性というのを考慮していない。
さて、どうすればよいか。ISI shuffleして作ったsurrogate dataのsequenceからsongを作るのでもcontrolとして不充分だし、fig.S7のようにdetectされたreal dataのsequenceをshuffleしてsongを作るのでも不充分に思える。要は二段階の手続き(sequenceの検出とsongの検出)を取る必要がある点に私はひっかっているのかもしれない。

コメントする (2)
# ん?

コントロールをどうとったらいいかは、とくにサンプル数が多くて、pseudo-positiveが出易い場合には、難しい問題ですね。Fig. 3Gは一番きついコントロールのようですが、これでも、まだ問題は残っていると思います。Fig. 3F, Gのコントロールで、population modulationによるpseudo-positiveの効果は取り除けているように見えますが、もしlocalなpopulation modulataionがある場合には、このコントロールでは不十分な可能性もあります。極端な例として、二つのニューロン群A,Bがあるとして、A群とB群が交代に(時間的にゆるい)同期発火するようなケースを考えましょう。A群は期間TAに同期発火をして、B群は期間TBに同期発火したとします。Fig. 3Gのexchangeが、A群のあるニューロンの期間TAにあるスパイクと、B群のあるニューロンの期間TBにあるスパイクの間で行われると、期間TAではA群のニューロンの発火数が全体として減少し、B群のニューロンの発火数が増大します(期間TBでは逆)。そうすると、期間TAでは、スパイクの総数は変わらないのですが、スパイクがA群に集中していたのが、A,B両群に分散するようになり、sequenceを見つける確率が減少するでしょう(期間TBについても同様。Sequenceの長さがnなら、最大、1/2^nまで減少しうる)。この例は極端なものですが、二群に分かれていなくても、localなpopulation modulationがあれば、同様なことがおこるかと思います。このように考えますと、Fig. 3Gのexchangeが、local population modulationの時間幅よりも十分時間的に短い範囲でなされていれば、Fig. 3Gで十分なコントロールになっているかと思われますが、そうでない場合は、まだコントロールとして十分でない可能性があるかと思われます。これが不十分な場合、時間的にゆるい同期発火があるということは主張できても、特定のsequenceがあると主張するためには、他の証拠が必要になるかと思います。論文中にもありますように、特定のsequenceが何度も出現するが、その逆は出現しないということは、証拠の一つになりそうですが、論文中にはこのことについての統計的議論はなされていないようです。この統計はいろいろと難しい点があるかと思います。たとえば、template matchingで得られたsequenceの一つだけあげて、その順の発生数と逆の発生数を使って、二項分布で検定するというだけでは不足かと思われます。これでは、fMRIの解析で、P<0.001で選ばれたvoxelだけを持って来て、t検定をmultiple comparisonsの補正なしでやるのと同様のことになってしまいます。まともに補正をかけようとすると、膨大な数のsequenceにわたっての補正ということになりそうで、ちょっと想像がつきません。他に考えられる方法としては、このホームページにあるように、「cellA->20ms->cellB->150ms->cellCとかのsequenceの有意度を検定するとき、それがたとえば、cellA->20ms->cellB->140ms->cellCと比べて有意である」というようなことを言ってもいいのかもしれませんが、これにも同様のmultiple comparisonsの問題が存在するものと思われます。

# pooneil

コメントありがとうございます。こういうコメントをお待ちしておりました(喜びをかみしめ中)。そうですね。Multiple comparisonの問題は重要だと思います。この点についてはcrosscorreologramやjoint-PSTHやunitary eventの有意度の検定などでもたいがい同じ問題が出てくるようで、難問だと思います。そういう意味ではfMRIでFristonがsmoothingのcorrectionを導入して解析を確立したのは、たとえ多分いくつか不備があるであろうにしろ、偉大だったと思います。
Fig. 3Gの難点についても、なるほど納得です。考えても見なかったです。三種類も違ったshufflingの図を出しているあたりからしても、ここはかなり難しく重要なステップだったことがうかがえます。
ん?さんならわかると思うんだけれど、私が4/25に書いたようなjoint-PSTHはspontaで使えるのでしょうか? 勘違いしている気もするんだけれど、可能ならそのほうがformalだと思うわけです(4/27で採り上げているように)。


お勧めエントリ


月別過去ログ