坂倉(@a2ki)です。

本日は、ホロノミック勾配法について紹介します。

ホロノミック勾配法は、最適化したい関数:g(θ)の導関数が陽に書けない場合の勾配法です。このような環境で愚直に勾配法動かしたいなら、毎STEPで導関数の数値評価が必要になります。それに対し、ホロノミック勾配法は

• g(θ)の勾配法を、θとg(θ)の連立微分方程式で記述
  • θの微分方程式: 勾配法によるθの更新
  • g(θ)の微分方程式 : θの更新によるg(θ)の導関数の更新（θ更新先でのg(θ)の導関数の値）

することにより

• 導関数を数値評価は微分方程式の初期値設定時のみで、あとは更新即に従えばOK

を可能にする手法です。

ここで、g(θ)の微分方程式を”素直に”記述すると、無限に高階の導関数が出てくるため、上記方法は実現できません。ホロノミック勾配法は、これを有限の階数の導関数で抑えるため、上記方法の実現が可能となります。これには、グレブナー基底の理論を用います。

さて、ここでホロノミック勾配法が適用可能な関数（ホロノミック関数）が気になるところです。これが、驚くべきことに

• Z(θ)^-1 * exp(r(x,θ)), r(x,θ): 有理多項式
• H(多項式), H:ヘビサイド関数
• |行列多項式|
• ホロノミック関数の和, 積, 積分

等、非常に広い範囲にわたります（個人的に1個目と2個目を見るとゾクゾクします）。

詳細は、以下のスライドに記述しました。なお、スライド内、グレブナー基底の理論については記述しておりません。その詳細は、スライド内参考文献を見て頂ければと思います。

記事一覧へ