- 機械学習
VCAとLS(1) Vanishing Component Analysis と Least Squares
VCAとLS(1) Vanishing Component Analysis と Least Squares
VCAを実装していて、「どうもうまく求まらんな」と思ったので、ちょっとまとめようと思います。
最小二乗法を足がかりにした方がわかりやすいと思いましたので、まずはそこから。
このメモのポイントは、観測行列H, パラメータベクトルθとしたとき、
Hθ=0
となる条件は、Hのランクが落ちるとき、です。
なので、H内の関数を逐次的に増やして行った場合、
Hのランクが落ちた瞬間に、Vanishing Component が存在することになるのですが、、、、
次はH内の関数を多項式に制限することにより、
SVDで上手に求まっていくあたりを説明できれば、、、、と思います。
# ほんとはちゃんとまとめてから投稿しようと練ってたんですが、
# あまりに手が早い人がいるので速報形式にします。仕事しろ!