[月別過去ログ] 2016年10月

« 2016年09月 | 最新のページに戻る | 2016年11月 »

2016年10月28日

■ 眼球運動の無意識な動きを活用する

私が「意識の科学的研究」ってテーマを強調するときは「意識経験について説明できるくらいに脳と心と体の仕組みを明らかにすべき」って意味であって「無意識と比べて意識を研究するべき」って意味ではない。そもそも盲視(無意識の視覚)を研究してるんだから。

僕自身二十歳の頃から視線インタフェースには親しんでいて、視線でプレイするブロック崩しとかも作ってきたけど、健常者向けの意識的な「視線入力」には懐疑的。ただ、視線計測に基づくインタラクションには様々な可能性は広がっていると思う。

— 稲見昌彦 Masahiko Inami (@drinami) 2015年6月7日

マウスみたいに意識的に目を動かして入力に使うより、無意識な目の動きをインタラクションに使うほうがいいんじゃあないかって思ってたんで、すごく合意できる。

マイクロサッカードは計測精度が必要なのであご台で頭固定しないといけないのが難点。でもいまアイトラッキングはかなり注目されていて、どんどん安くなってきているし、キャリブレーションも一点でよくなっているし(ゴーグル型で眼と二つのカメラの位置とが固定していることを仮定できるため)、面白くなってきそう。

いま考えているのは以前作った2つを組み合わせてやるといいなというもので、「Proccessing + SuperCollider + Tonnetz」(ブログ記事)

では、マウスでクリックした位置をprocessingで処理して、SuperColliderに送って鳴らしていた。

それから生理研一般公開2014のときに作った「Eye-tracking for dial tones」(ブログ記事)

ではアイトラッカーを使って視線を1か所に保持すると音を鳴るというものだった。この両者を組み合わせてやればいいなと思ってた。

でもって、このプッシュホンのやつみたいに鍵盤を押すように意図して音を出させるやつだとマウスを使うのと大差ないので、普段の自発的なサッカードをそのまま使って音を鳴らしてやればいいんじゃあないかと考えてた。ヒトは普段一秒に数回サッケードする。その大きさは5degくらいをピークにロングテールになってる。この特性に合わせてうまいこと音が鳴るようにしようとか思ってsupercolliderいじってたのだけれど、なかなか進まない。

つまり、fixationしているときに音を鳴らすんではなくて(それだとマウスでポチポチと同じ)、サッカードしているときのvelocitityとかを取ってくる。そうするとイベントが断続的になるのでattack/decay/sustain/releaseを効かした音を重ねてゆけるっていうアイデア。

(追記20161028) けっきょくまだ計画中のまま。

2016年10月22日

■ サリエンシーマップの計算用コード(2015年6月版)

OpenCV version 3.0 リリースとのこと。OpenCVがversion 2になってからいろいろ弄ろうと思っていたけど後回しにしていたら、いつのまにか3.0が出てしまった。サリエンシーマップを作れるようにとか考えてたのだけれど。

そしたら、公式でSaliency APIってのができてた。"Static Saliency algorithms"のページを見るかぎり、Xiaodi and Zhangという人たちのimplementationみたい。

ほかにもOpenCVでの例はAmir H. BakhtiaryによるIEEE PAMI 1998 Itti et alのコード、それから「OpenCV2.4による顕著性マップの実装」がある。

akisatoさんのはてなのは消えちゃってる。freemlに一部残ってる。openCV以外のコードとしては、akisato-さんのpythonコード、それからopenFrameworksでのofxSaliencyMap、それから大変詳細な説明とC++コードがある。

ただ、だいたいのIttiコードのimplementationというのはベンチマークテスト用の比較対象としてIEEE PAMI 1998でのアルゴリズムがimplementされているのだがそれはstaticな刺激のためのものであって、動画に使うためのサリエンシーはVisual Cognition 2005 (pdf)に書かれているとおりにimplementされている。こちらはmotion energyとかflickerとかが入っていて、彼のC++コードはこちらに基づいて計算される。そういうわけでわたしはこちらのユーザーとしてコードを走らせてる。いくつか調べてみるとちょっと変な挙動がある。

たとえば標準的なCIOFM (color + intensity + orientation + flicker + motion)なモデルを動かすと、Iのみのマップとかと比べると時間的になまったものが出てくる。これはなぜかというとC+I+O+F+Mのfeatureを足し合わせるところで一回leaky integratorを通しているから。ある意味正しいんだろうけど、CIOFMとIの時間的挙動を比較したいこちらとしては困る。

2016年10月08日

■ 盲視では「見えてる」? それとも「観えてる」?

(2015年5月のtwitter書き込みより再構成。)

Sci Reps論文のプレスリリースで、盲視についてどういう表現にするか思案中。これまでは「見えないのに無意識に見える」盲視とか書いてきた。なんかもっとうまい言い方はないか。「見えてないけど、観えている」盲視とか。なんかオカルトっぽいな。ボツ。「視えてないけど、判ってる盲視」なんかダメ。見る、観る、視る、識る。判る。分かる。

トヨタ生産方式とかの文脈で「見える化」と「視える化」の使い分けの例とかを見つけた。なんか造語でもするか。

逆か。「観えてないけど、見えている」盲視。こっちはなぜかオカルトっぽくない。ふしぎ！

ここ見ると元のやつでいいかもって思う。「「見る」->視覚によって、物の形・色・様子などを知覚する。「観る」->判断を下すために、物事の状態などを調べる。(三省堂提供「大辞林 第二版」) 」URL:「「見る」と「観る」」

ベイトソンが引用していたウイリアム・ブレイクの「賢者は輪郭を見る」、これは「観る」だろう。”Wise men see outlines and therefore they draw them”

原文を見るとこれと並置されて"Madmen ..."という表現もあることを知った。

When Men will draw outlines begin you to jaw them
Madmen see outlines & therefore they draw them

ブレイクの”outlines”への言及はここにもある：”Nature has no Outline, But Imagination has.” (The Ghost of Abel)

とここまで潜ってはみたものの、これをどう活かせというのだろう？

といろいろやっていたのだけど、けっきょくプレスリリースは「見えてないのに分かってしまう」盲視はヒトでもサルでも同じという表現になった。

お勧めエントリ

  • 細胞外電極はなにを見ているか(1) 20080727 (2) リニューアル版 20081107
  • 総説 長期記憶の脳内メカニズム 20100909
  • 駒場講義2013 「意識の科学的研究 - 盲視を起点に」20130626
  • 駒場講義2012レジメ 意識と注意の脳内メカニズム(1) 注意 20121010 (2) 意識 20121011
  • 視覚、注意、言語で3*2の背側、腹側経路説 20140119
  • 脳科学辞典の項目書いた 「盲視」 20130407
  • 脳科学辞典の項目書いた 「気づき」 20130228
  • 脳科学辞典の項目書いた 「サリエンシー」 20121224
  • 脳科学辞典の項目書いた 「マイクロサッケード」 20121227
  • 盲視でおこる「なにかあるかんじ」 20110126
  • DKL色空間についてまとめ 20090113
  • 科学基礎論学会 秋の研究例会 ワークショップ「意識の神経科学と神経現象学」レジメ 20131102
  • ギャラガー＆ザハヴィ『現象学的な心』合評会レジメ 20130628
  • Marrのrepresentationとprocessをベイトソン流に解釈する (1) 20100317 (2) 20100317
  • 半側空間無視と同名半盲とは区別できるか？(1) 20080220 (2) 半側空間無視の原因部位は？ 20080221
  • MarrのVisionの最初と最後だけを読む 20071213

月別過去ログ

[2024]
2|
1|
[2023]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2022]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2021]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2020]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2019]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2018]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2017]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2016]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2015]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2014]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2013]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2012]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2011]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2010]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2009]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2008]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2007]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2006]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2005]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2004]
12|
11|
10|
9|
8|
7|
6|
5|
4|
3|
2|
1|
[2003]
12|
11|
8|
7|
[2001]
10|
8|
6|
5|
4|
2|
[2000]
12|
9|
8|
7|
6|
3|
2|
1|
[1999]
9|
8|
7|
« 2016年09月 | 最新のページに戻る | 2016年11月 »