fkzk / regression Goto Github PK

GPRegressorとして実装する。

GPRegressorとしてregressor.pyに実装する。

コードを読み書きしやすくするため

1. 値の初期化
2. 計算
3. グラフの表示

の順に処理するようにする。

• y = sin(πx) のグラフを表示する
• サンプル点を10個作り、y = sin(πx_i) をグラフに表示する
• サンプル点に対して x^0, x^1, ..., x^n を計算し、行列にまとめる
• 行列計算によって a_0, a_1, ..., a_n を求める
• y = a_0 x^0 +a_1 x^1+...+a_n x^n を表示する

• y = sin(πx) のグラフを表示する
• サンプル点を20個作り、y = sin(πx_i) をグラフに表示する
• サンプル点に対して x^0, x^1, ..., x^n を計算し、行列にまとめる
• 行列計算によって a_0, a_1, ..., a_n を求める
• y = a_0 x^0 +a_1 x^1+...+a_n x^n を表示する

• サンプルからXを作成
• 線型方程式を解いて係数aを求める
• 求めた係数を用いてyを計算

現状、nを大きくすると多項式の値が大きく触れてしまう。
そこで、L2ノルムによる正則化を導入してこれを抑える。
また、グラフの表示に際してyの表示範囲を設定する。

回帰の手法は結局のところ

1. 回帰に使うハイパーパラメータ
   • 多項式フィッティングで言えばn_degreeやc_l2
2. トレーニング用のsample_x
3. sample_xをターゲット関数で写してノイズを乗せたsample_target

を指定することで回帰関数を作ることができる。
そこで各回帰関数は

1. 1.によってregressorを初期化して生成し
2. 2., 3. によるregressor.train(sample_x, sample_target)で回帰関数を構成
3. regressor(x)によって回帰関数としての出力をする

ように構成することとする。

ひとまずの目標としては

• 現状の多項式フィッティングをPolyRegressorクラスの機能として再実装
• PolyRegressorをregressor.pyに移動し、build_regressor(regressor_name, **init_kwargs)の形でインスタンスを呼び出せるようにする

こととする。

|y-\hat{y}|の積分（真の関数値との誤差の面積）を|y|の積分（真の関数の面積）で割る。
ただし、定数関数y=0の場合を考慮して分母に小さい正の数を足す。

|y - \hat{y}| / (|y| + ε)

層の数、中間ニューロン数、学習率、反復回数を調整できるようにする

• sinπxのグラフを表示する
• グラフの見た目を整える
• 学習サンプルを生成・プロット
• 凡例を追加する

目標：regressor_nameという変数を1か所書き換えるだけで回帰手法を切り替えられるようにする

• 上部に実験条件の変数をまとめる
• 切り出せる処理の関数化
• 多項式フィッティングの処理をPolyRegressorクラスに集約
• PolyRegressorをregressor.pyに移動
• build_regressor関数経由でPolyRegressorを準備

現在、ターゲット関数はsin(πx)を使うことになっているが、これをtarget_nameにより指定できるようにする。
例として

• target_name="sin"を指定するとsin(πx)
• target_name="poly2"を指定するとx^2+0.5x-0.7

が使えるようにする。

• sin関数を定義し、jnp.sin(jnp.pi * x)をsin(x)という形で書けるようにする
• sin関数を返す、get_target_fn(target_name)という関数を定義する
• sinxに依存した名前だが、targetに一般化できる部分の変数を書き換える
• poly2(x)関数を実装する。get_target_fn(target_name)はpoly2を返すようにする
• target_nameによってget_target_fnが返す関数を切り替えられるようにする
• ターゲット関数関連のコードをtarget_fn.pyに分離し、get_target_nameだけをimportして使うようにする

近似の誤差の評価をするためにNormalized Mean Absolute Error (NMAE) を導入する。
NMAEにはいくつか流儀があるが、単純に値域の幅で割ることで正規化する。

また、見やすさのために
score := 10 log10((1/NMAE)^2) = - 20 log10(NMAE)
を評価値（dB）とする。

スコアはひとまず標準出力に表示する。

||t - y||^2 / ||t||^2 を評価基準にする

現在はregressor_nameを書き換えることによってどちらの回帰手法を使うのかを決めているが、比較のために同時に予測曲線を表示したい。

これはコード内に単純にpoly_regressorとgp_regressorを実装すれば書けるが、regressor_name = ['poly', 'gp']と書くことによってこれが実現されるようにしたい。
この変更をしたあともregressor_nameで回帰手法をひとつだけ指定したときの挙動は変えないものとする。

• 定数の変数化
• 順序の整理
• 関数化
• PolyRegressorの実装
• build_regressorの実装

ハイパーパラメータは以下の2つとする。

• beta: データに乗っているノイズの標準偏差の逆数
• sigma: ガウスカーネルの標準偏差

c = (K + (1/beta)I)^(-1) z
mu = <k, c>
を計算して出力

• サンプル数と推論時間の関係を調べる
• サンプル数と精度の関係をプロットする
  • 分割数の決定
• 小区間に分割する方法の実装
• 提案手法についてサンプル数と推論時間の関係を調べる
• 提案手法についてサンプル数と精度の関係を調べる

ノイズは標準偏差がσのガウシアンノイズとする。
ここでσはターゲット関数の値域の（最大値-最小値）に定数をかけたものとする。