« 「おたく」の精神史 一九八〇年代論 講談社現代新書 大塚 英志 | 最新のページに戻る | Nature N&V »
■ Nature
"General conditions for predictivity in learning theory."
TOMASO POGGIO @ MIT。David Marrと一緒に仕事をした超有名人。3D objectのrecognitionのモデルとかがいちばん有名なのではなかろうか。News and viewsはこちら。
"Learning theory: Past performance and future results."
N&Vだけしか読んでないが、こういうことらしい。
Learningによってどう新しい状況に対して行動できるか、についてlearning theoryはrisk minimization algorithmを使っていると考えた。つまり、今までのすべての経験を使って、新しい状況において起こりうるリスクが最小になるように最適化されている、というものだ。しかし著者らはここで"stability"という概念を持ち出す。今までの経験のうちの一回の経験を除いても学習による予測が大きくは変わらないように最適化されている、というものだ。NVではケプラーの理論がそれまでの観察のうちのどれかが欠けたとしてもvalidであろうことを例にあげている。
このstabilityという概念は非常に尤もなように思われる。ベイズ統計を思い起こさせるところもあると思うが、私がここで思い浮かべたのは、統計でのcross validation法についてだ。いま私はkernel density estimationやgeneralized additive modelなどについていろいろ調べているのだが、カーブフィッティングをするときにkernelの幅やsmoothing splineの性質などを決める必要がある。このため、fittingの誤差のmasure(RMSとか)があるデータ点を除いたときにも変わらないという拘束条件のもとに、全データをそれぞれ一つずつ除きながらパラメータを最適化する。これが最適なものであるのかどうかは私は知らないが、empiricalにはよく使われている方法であるようだ。
というわけで、どっかで関係してこないかなと思って斜め読み。
- / ツイートする
- / 投稿日: 2004年03月26日
- / カテゴリー: [Papers_unclassified]
- / Edit(管理者用)
# pooneil
ガヤ、日記での指摘ありがとう。直しました。
# ガヤで、コメントありがとう>estimationとprediction。調べてみた。予測のためのモデルをestimateする、そのモデルを使ってある変数をpredictする、ということのようだけど、うーん、正直よくわからなかったです。どっち（cross-validationも今回のstabilityのルールも）もpredictionしてると思ったから。Nature論文もcross-validationは道具として使っているようなので、問題は道具とアルゴリズムとの関係になるのかもしれない。とはいえ、論文を読んでみることが先決でしょうな。ということでツッコミまたよろしく。
私も今勉強中。最適化とか最尤度といったキーワードからなんとなく共通項を探そうとしてしまいがちですが、estimationとpredictionではやはり本質的に概念が違うかと。まずは私もそのNature論文読んでみます。
# ガヤすまん、あまりよく理解しないまま書き込んでしまいました。ラボ発表で『ガヤのやっていることは神経活動の「予測（prediction）」ではなくて単なる「推定（estimation）」ではないか』と指摘されまして今頭が混乱しています。そして”Applied Optimal Estimation (A. Gelb, MIT)”という読むように薦められたのですが知ってます、この本？ 調べてみたら結構昔に出版された本のようでまだ購入に踏みきれません。有名な本なんでしょうか。
# pooneil「（cross-validationも今回のstabilityのルールも）もpredictionしてる」→これはまさにその通りですよね、たぶん。
なるほど、そういう経緯ですか。うーむ、optimal ”estimation” だしなあ。上で私が言ったことも間違っているのかも。ここはプロに現れてほしいところですな。私自身は非線形最小二乗法を使おうとしてmatlabのoptimization toolboxを使ってみたぐらいでして、たぶん研究所の図書館の本でなんか調べたと思いますけど、お勧めできる本はありません。”Applied optimal estimation”は1974年らしいけど、よさそうですね。いまアマゾンで検索かけたら一番上に出てきました。
# ガヤネットでカルマンフィルタについての記述を発見。「なお、未来の状態ベクトルを推定することを予測、現在の状態ベクトルを推定することをフィルター、過去の状態ベクトルを推定することを平滑化と呼びます。」http://www.ichigobbs.net/cgi/readres.cgi?bo=economy&vi=0753&rm=20の423
おお、そしたら推定はすべてのケースを包括したタームということですね。情報どうもです。
# pooneilいやいや、ほんとのところはどうだかよくわからないし、上記の意味ではガヤの1sec先までを推定できるのはpredictionと言えるはずで、まだその質問の論点を見切れてはいなさそう。