[月別過去ログ] 2014年10月
« 2014年09月 | 最新のページに戻る | 2014年11月 »2014年10月24日
■ JackIn面白いな！
JackIn面白いな！ SLAMもOBEもorienting responseも入っているので、なんかものすごく関連高いし。なんか出来ることはないかなと思う。
JackInにおけるBodyとGhostの関係は、[サッカードをすることで視線を移しながら獲得している複数の狭い映像]から[あるひとつのシーンを再構成して自分は経験している]という関係と対応している。もしくは感覚と知覚の関係、もしくは現象学で言う現出と意識、と対応している。
工学的にはSLAMを使って画像を縫い合わせて、頭の動きに依存しないひとつの大きなシーンを作ることはできるだろうけど、脳はそのようなひとつのシーンを表象してはいるのではなくて、探索で形成した空間マップと今見ている視野との関係として持っているのだろう。
ここまで書いてみて気づいたけど、頭と体を動かして空間マップを作るという概念はplace cellとかあのへんで進んでいると思うけれども、目を動かしてシーンをマップするという方についてはそんなにないように思う。そしてどちらにしても、どうやってその中からinvariantな構造を取り出すのかというのが共通の問題になっている。
さらにいえば自分の体という制限を越えた自分の体という制限を越えた不変項の抽出という意味では、物体認識についても同様だ。空間、シーン、形、くらいまではつながった。色だってそうだろう。そういう全体像でいったい自分には何ができるだろう？
ふたたび話をJackInに戻すならば、これはSLAMと画像のスティッチがなければ、BODYに付けたたくさんのカメラからの映像を流しっぱなしにして、それをGHOSTが見て操作するみたいな人力方式(株とかやってるヒトのディスプレーみたいに)になるわけで、骨格はそれと同じなんだけど、GHOSTが人力で頭の中にひとつの空間マップを作るのではなくって、SLAMと画像縫い合わせで明示的に作ってあることによって、それは一人のGHOSTだけに専有されずに複数の人間が共有できることになる。うーむ、インターサブジェクティビティー！
2014年10月14日
■ 研究関連メモ20140316
高次脳機能障害者の世界～私の思うリハビリや暮らしのこと 山田 規畝子を読んでた。「壊れた脳 生存する知」は体験談的な記述だったけど、こちらの本では半側空間無視における経験についての記述(p.85-93)がわかりやすい。
(左は存在しないという自覚を持っているというよりは)「これまで私にとって左側が存在しなかったがゆえにやってしまった失敗とか…を通して、実はそうしたことの「理由」として、間接的に、これは私にはそもそも左側が存在しないがゆえの失敗なのだ、指摘なのだという結論を出している」
「もし左側があるのならこんな失敗や不都合はあるはずがないという思考方法で、それはある程度以上、意識して考えようとすればそういうことかなと考えられるということで、肩の力を抜いてしまうとすぐに消えてしまう」
「たとえば左の壁際を歩いてみなさいと言われると、左のことがわからない人にとっては、わかっていない部分で何かしてくれと言われるのに等しく、それがものすごく怖くなるのです。…そこへ寄り過ぎると壁にぶつかるという予想もできる…何もわかっていないから右へ寄っていくのではないのです。」
もちろん、人によって経験はそれぞれ違っているだろうし、山田 規畝子氏の場合には脳内出血を三度経験していて、記憶障害や失認もあるとのことだ。
「それでも脳は学習する～高次脳機能障害者の世界を語る～」 これも参考になった。
以前失語症についての一般書を読んでいて、失語症について「いきなり外国に行った状態」と例えていて(しかも英語ではなくドイツ語にしてあるところが絶妙だった)、音は聞こえているが意味は為さない、反応が遅れるから会話に加わることが億劫になる、など自分の意識経験と地続きで深く納得した。
ということとまさに同じような理由によって、自分がLAに行ったときには日本にいるときよりも「コミュ障」になってしまうという経験について書こうとしたのだけれども、「コミュ障」という言葉が政治的に正しくないので使わなかった。
"Learning to Read Improves the Structure of the Arcuate Fasciculus"つか、FAとの相関からAFの構造が「改善した」って言うのはどうよ？太けりゃいいってもんじゃないだろう?
狭いところに入り込むネコの話 と、ミニチュアの滑り台を滑ろうとする2歳児の話と視覚の腹側経路、背側経路くらいでなんかの三題噺を考えられないだろうか。
Front. Hum. Neurosci. 2014 Perceptual decision making: drift-diffusion model is equivalent to a Bayesian model
Front. Comput. Neurosci. 2012 "Perception and self-organized instability"自由エネルギー、カオス遍歴、自己組織化臨界現象と重要そうなの全部入ってるので読みたい。
脳の活動パターンがself-organized criticalityにあることを考えるならば、脳の活動パターンの場合の数は組み合わせ爆発などはしなくてずっと小さいはずなので、そういう範囲の中で探索したほうがいい。IITはそんな、元からあり得ないような状態を排除することにじつのところ機能しているのであって、拘束条件が緩すぎるのではないかと想像する。
つまり、N個のニューロンがあって、発火するかしないかの二つの状態だけがあったとして、ある時点での状態は2^Nあるということになっているけれども、それは過大評価であって、実際にはニューロン全体での発火頻度の周りでしか分布していないし、状態空間のなかで歴史に強く拘束されている。
つかそれって統計力学だよな。それはわかってる。
多次元レクチャーとかそのへんの準備をしていて、神経解剖学の基礎についてのよい図を探していたのだけれども、けっきょくのところ「カールソン神経科学テキスト 脳と行動」でほとんど用が足りることを知った。だいたい必要なところにカラーのわかりやすい図があって本当に素晴らしい。
たとえば基礎の基礎でdorsal-ventral, rostral-caudalの位置関係について、ヒトだと神経管が脊髄から脳に入ったところで曲がっているため直感に反した表現になるのだけれども、この教科書ではワニとヒトとを並べて両方表示している。なんかファニーでよい。
Heschl's gyriを表示している図も探していたのだが、外側溝を開かないと見えないので、脳解剖の実際の図とかになってしまってかえってわかりにくい。これもこの教科書だとoperculumを開いてinsulaとHeschl's gyriが見えるような図がある。
Rolandic operculumって言葉は知らなかった。「弁蓋」とかいうくらいなので、とにかくペロっとめくったらその下にべつの脳表が見えるような構造が弁蓋で、マカクのV1の表面と折りたたまれて盲点に対応する部分も弁蓋。
マカクのV1はややこしく折りたたまれているので弁蓋があるけれど、ヒトのV1はcalcarine sulcusに沿っているだけなので、たぶんヒトのV1周りにはopercular regionみたいな言い方するところはないんではないだろうか。要確認。
2014年10月08日
■ tonnetz(三和音のトーラス構造)についていろいろやってみた(2)
前回の続き。以前考えたように、tonnetzをちょっといじるとダイアトニックコードは図のように並べることが出来る。
つまり、赤の部分を繋ぐとメビウスの輪になる。じゃあっていうんで、ほんとうにメビウスの輪の上に乗っけてみた。
2周(4pi)を7等分してやるとたしかにそれぞれの音が置くことができるのだけれども、点の間の距離がばらばらになってしまう。
正三角形の形は崩さずにメビウスの輪のように繋げないのだろうか。折り紙で自作していたのだけれども、どうにもうまくいかない。ふと家にジオマグがあることに気がついた。やってみた。
するとどうやっても繋がらないことが判明。右端のD音と左上のD音が繋がれば完成なのだが、どうやってもうまくいかない。そもそもうまくいく保証はなかったのだけれど。
ここまできたら無理矢理繋げばいいんではないかと思い立った。B-Fだけ音幅が違うので、そこだけ長い。
なんか対称性が出てきて良くなったんではないだろうか。でもそこまで考えるんだったら、そもそもC-E-Gを半音の数で3-4-5の直角三角形と捉えた方がいいかもと思った。
隣接している三角形で出来ている菱形はmaj7コードを構成する(e.g., C-E-G-B)のだけど、閉じられていない菱形が気になる。E-A-B-DとかC-D-F-Gとか。でもいいかげん飽きた。
でもってそのまま次男とジオマグで遊んだり、ジェンガで遊んだりというそういう一日となった。長女とiPod Touch買いに行って設定してやったりとか。
2014年10月02日
■ tonnetz(三和音のトーラス構造)についていろいろやってみた(1)
以前tonnetz(三和音のトーラス構造)についていろいろ考えてブログに書いたことがあるんだけど、ふと思い立って、三和音を三次元の一点で表現するようにして24個の和音を並べたらなんか構造でも見えてくるのだろうかと思って図を作ってみた。
24和音を低い方から並べて、たとえばCmajorだったらc,e,g音をc=0を基準に半音の数を数えるとc=0,e=4,g=7となるので、3次元空間の(0,4,7)にplotする。この調子でぜんぶplotするとｘ軸は0-4, y軸は3-8, z軸は7-11に全てのコードが並ぶ。
んで眺めてみたけれども、たとえば高さ9のところにはa音を含むコードが集まるので、xy平面上でD-Dm-A-Am-F-F#mという六角形が見える。縦方向に見てやると、Dmの縦線(黄色)の流れが上に進むとマゼンダの縦線の流れに繋がる。こっこにはなんか構造が見える。色で言うとmajのg-c-rとminのm-b-yの二つの系列。
とはいえ、c音から積み上げていくというところが無意味なので、もっと幅広くplotしてみたらなんか違ったものが見えただろうか？
けっきょくcircularであることを無視するとよくないので、Cmajorだったら輪っかでc-e-gに印をつけて、あとはおなじように24個作って、二音共有しているコード、一音共有しているコードって感じで近接度からグラフ構造を作る。そうすると…ってそれがtonnetsじゃん。ギャフン。
今度の10月の一般公開の出しものについて考えていたのだけれど、せっかくアイトラッカーがあるのだからそれを活用したい。とりあえずはサッカードの反応時間を測ってランキングをつければ小中学生はめちゃ頑張るはず。これまでも伊佐研では「マッスルセンサー」(簡易筋電計測装置)を活用してたし。
それはそれとして、もうすこしなんかインタラクティブなことしたい。今考えているのは、アイトラッカーから視点計測して、視線の位置を使ってsupercolliderでなんか音を出させる。tonnetz上での視線の位置によって出る音を決める。
位置によって出る和音がカテゴリカルに変わるだけだとつまんないので、Chordataで見た図みたいに、使う音に重みをかけてやる。たとえばc-g-eの三角形のど真ん中だとCメジャーコードだけど、c-g-eとc-a-eの三角形の間だとAm7になる。
画面描画はprocessingにやらせる。そうするとeye tribeからマウス代わりの入力を取って、それをprocessingで描画して、oscで通信してスパコラで音鳴らす。手間はかかるがプログラミングを覚えれば可能だろう。
じゃあc-e-gとc-ds-gの間だとどうなるのだろう？CメジャーとCマイナーがなると不協和音なのでそれを避けるとしたら、tonnetzを斜めに切り取ってCメジャーダイアトニックコードだけにしたバージョン、つまりこれのfig2cか。
C-Amの中間系だけでは面白くなくって、C-Fの中間系(=Cmaj7)とかAm-Dmの中間系(=Dm9)とかも作れると面白い。ではそのときはどのようにこの三角形を貼りあわせたらよいのだろう？3次元にすればいいのか。
だからそっち方面から詰めてゆくと、アイトラッカーよりはKinectかLeapMotion使ったほうがよいということになってしまう。じゃあアイトラッキングだったらなにが効果的な出力かという方向から考えたほうがよさそうだ。使える情報は位置だけではなくてサッカードの向き、速度もある。
課題の最初の画面の中心では7音全部が鳴ってるんだけれど、音のフィードバックだけを頼りにして探索していくといい和音のところが出てくる。これをウォーリーを探せ課題をやっているときに重ねてやって、音で強化して視覚探索をコントロールしてやる。(<-もはや一般公開と関係ないし)
サッカードの特徴から考える。じっと留まるのではなくて、アチラコチラに動くのがサッカード。そしていつ目が動いているかはほとんど意識しない。動いている瞬間はサッカード抑制で視覚が使われない。だからサッカードのタイミングで画像を変えるとchange blindnessが誘導できる。
そういうわけで、Processing + SuperColliderでTonnetz上の平面をクリックしたら音が鳴る、というのをじっさいに作ってみた。
ここまでならSCなくてもできるが、もうちょっと音を工夫してみようと思う。
あとはEye TribeがMacに対応するのを待って、アイトラッカーからの入力で音を出せるようにする。今日はここまで。
お勧めエントリ
- 細胞外電極はなにを見ているか(1) 20080727 (2) リニューアル版 20081107
- 総説 長期記憶の脳内メカニズム 20100909
- 駒場講義2013 「意識の科学的研究 - 盲視を起点に」20130626
- 駒場講義2012レジメ 意識と注意の脳内メカニズム(1) 注意 20121010 (2) 意識 20121011
- 視覚、注意、言語で3*2の背側、腹側経路説 20140119
- 脳科学辞典の項目書いた 「盲視」 20130407
- 脳科学辞典の項目書いた 「気づき」 20130228
- 脳科学辞典の項目書いた 「サリエンシー」 20121224
- 脳科学辞典の項目書いた 「マイクロサッケード」 20121227
- 盲視でおこる「なにかあるかんじ」 20110126
- DKL色空間についてまとめ 20090113
- 科学基礎論学会 秋の研究例会 ワークショップ「意識の神経科学と神経現象学」レジメ 20131102
- ギャラガー＆ザハヴィ『現象学的な心』合評会レジメ 20130628
- Marrのrepresentationとprocessをベイトソン流に解釈する (1) 20100317 (2) 20100317
- 半側空間無視と同名半盲とは区別できるか？(1) 20080220 (2) 半側空間無視の原因部位は？ 20080221
- MarrのVisionの最初と最後だけを読む 20071213