- 機械学習
論文紹介:Practical Bayesian Optimization of Machine Learning Algorithms(NIPS2012)
論文紹介:Practical Bayesian Optimization of Machine Learning Algorithms(NIPS2012)
はじめまして、宇土敬祐(@utotch)と申します。
普段の仕事では、機械学習やロボティックス、画像処理等の研究をやっていますが、趣味でHaskell や圏論の勉強をしたりしています。よろしく御願いします。
私は、先日 ICML2013に出張してきたのですが、Vanishing Component Analysis の話を 塚原と鈴木に紹介したら、一気に私より詳しくなってアクセル全開で解説を始めてしまいました。(もはや私の立場が形無し…(泣))
私の方は、もっとゆったりと行きたいと思います。
NIPS2012 の論文紹介で、Gaussian Process を使って機械学習器のハイパーパラメータをチューニングするお話です。
私が素朴に伝えたいのは、この論文そのものというより、Gaussian Process の直感的なイメージと用途です。
私はPRMLでGaussian Process (ガウス過程) を読んだときはよく理解できなかったのですが、 この論文を読んで、初めて Gaussian Processというものの直感的イメージと使われ方が分かりました。
Gaussian Process は “関数(無限次元ベクトル)の分布” を扱う道具なんですね。
ガウス分布が平均と分散で形が決まるのに対し、Gaussian Process は平均”関数”とカーネルで形が決まるというアナロジーで捉えると腑に落ちました。
関数の分布を表現し、データが観測される度に関数が詳細に分かっていくイメージです。
以下が紹介資料です。