はじめまして．デンソーアイティーラボラトリの坂倉義明(@a2ki)と申します．よろしくお願いします．
さて，今日は，Extreme Learning Machine(ELM)についてご紹介します．ELMは，Single Layer FeedForward Neural Networkの高速な学習スキームです．今流行のDeep Networkとは真逆ですね．
高速化のポイントは，入力層から隠れ層への重みの学習を諦めることです．具体的な手順として，回帰の場合以下になります．

1. 入力層から隠れ層への重みをランダムに生成
2. 隠れ層の出力（活性化関数を通した）を計算
3. 2と教示データの回帰係数を求め（疑似逆行列）隠れ層から出力層への重みとする

そりゃはやいっすよね…
ここで疑問になるのが，これで良いのかという点．これに関し提案者は，「有界・区分連続・な活性化関数，十分な数の隠れ層を用いれば，ELMは任意の関数を表現できる」事を証明する事で，この疑問に答えています（私は証明追ってませんが…）．
また，本構成により，高速化だけでなく

• 過学習し難い（学習パラメータ数が少ないので）
• 活性化関数が微分できなくてもよい
• 指定するパラメータが隠れ層の数だけ(今では，最大値を指定すればその間で最適な数を決めてくれるっぽい)
• 一意解が求まる
• 実装が超簡単

という恩恵があり，魅力的です．
以下，社内の教育で発表した資料を挙げておきます．


以上，ご参考まで．

記事一覧へ