わかりやすい　パターン認識

第３章　誤差評価に基づく学習

3.1 Widrow-Hoffの学習規則

[2] 閉じた形の解に引き続き、「[3] 逐次近似による解(p.36)」を例題に当てはめて解いてみる（Widrow-Hoffの学習規則）。

学習パターンと教師ベクトルは「閉じた形の解」と同じだが、列ベクトルの形式で、

$$\mathbf{x_1} = \left(\begin{array}{c}1 \\ 1.2\end{array}\right), \mathbf{x_2} = \left(\begin{array}{c}1 \\ 0.2\end{array}\right), \mathbf{x_3} = \left(\begin{array}{c}1 \\ -0.2\end{array}\right), \mathbf{x_4} = \left(\begin{array}{c}1 \\ -0.5\end{array}\right), \mathbf{x_5} = \left(\begin{array}{c}1 \\ -1.0\end{array}\right), \mathbf{x_6} = \left(\begin{array}{c}1 \\ -1.5\end{array}\right),$$ $$\mathbf{b_1} = \mathbf{b_2} = \mathbf{b_3} = \left(\begin{array}{c}1 \\ 0\end{array}\right), \mathbf{b_4} = \mathbf{b_5} = \mathbf{b_6} = \left(\begin{array}{c}0 \\ 1\end{array}\right),$$

とする。

パターンごとに

$$\begin{align} \mathbf{W}^\prime &= \mathbf{W} - \rho \mathbf{X}_p \mathbf{\epsilon}_p^t \tag{3.31} \\ \mathbf{\epsilon}_p &= g(\mathbf{x}_p) - \mathbf{b}_p \tag{3.3} \\ &= \mathbf{W}^t \mathbf{X}_p - \mathbf{b}_p \end{align}$$

として $\mathbf{W}$ を更新する（Widrow-Hoffの学習規則）。

$\mathbf{W}$ の初期値は適当に、 $$\mathbf{W} = \left[ \begin{array}{c} \left(\begin{array}{c}1 \\ 1\end{array}\right) & \left(\begin{array}{c}1 \\ 1\end{array}\right) \end{array} \right]$$

として、計算してみる。

(1) パターン１に適用

$$\begin{align} \mathbf{W}^\prime &= \left[\begin{array}{c} 1 & 1 \\ 1 & 1 \end{array}\right] - 0.4 \left(\begin{array}{c}1 \\ 1.2\end{array}\right) \left( \left[\begin{array}{c} 1 & 1 \\ 1 & 1 \end{array}\right] \left(\begin{array}{c}1 \\ 1.2\end{array}\right) - \left(\begin{array}{c}1 \\ 0\end{array}\right) \right)^t \\ &= \left[\begin{array}{c} 1 & 1 \\ 1 & 1 \end{array}\right] - 0.4 \left(\begin{array}{c}1 \\ 1.2\end{array}\right) \left(\begin{array}{c}1.2 & 2.2\end{array}\right) \\ &= \left[\begin{array}{c} 1 & 1 \\ 1 & 1 \end{array}\right] - 0.4 \left[\begin{array}{c} 1.2 & 2.2 \\ 1.44 & 2.64 \end{array}\right] \\ &= \left[\begin{array}{c} 1 & 1 \\ 1 & 1 \end{array}\right] - \left[\begin{array}{c} 0.48 & 0.88 \\ 0.576 & 1.056 \end{array}\right] \\ &= \left[\begin{array}{c} 0.52 & 0.12 \\ 0.424 & -0.056 \end{array}\right] \end{align}$$

以後パターン２〜６も同様に計算して一周させると、

$$\mathbf{W}^\prime = \left[\begin{array}{c} 0.68368057 & 0.50155838 \\ 0.40088957 & -0.30792911 \end{array}\right]$$

となり、識別の値 $x= -0.256937622954$ となる。

閉じた形で求めた結果と近い値が得られている。

コード

# learn_widrow_hoff.py # coding: UTF-8 import numpy as np def main(): # パターン行列 X = np.matrix([[1., 1.2], [1., 0.2], [1., -0.2], [1., -0.5], [1., -1.0], [1., -1.5]]) # パターンごとの、クラスiに属するかどうかの教師行列 b = np.matrix([[1., 0.], [1., 0.], [1., 0.], [0., 1.], [0., 1.], [0., 1.]]) # 識別関数のウェイトをランダムで初期化する W = np.matrix(np.random.random((b.shape[1], X.shape[1]))) rho = 0.4 # 学習率 for k in xrange(1): # TODO: 収束するまで for i in xrange(X.shape[0]): learn_widrow_hoff(W, X[i, :].T, b[i, :].T, rho) print W x = -(W[0, 0] - W[0, 1]) / (W[1, 0] - W[1, 1]) print 'x=', x, 'error=', calc_error(W, X, b) # Widrow-Hoffの学習規則でパターン１つに対して学習させる def learn_widrow_hoff(W, xp, bp, rho): e = W.T * xp - bp W -= rho * (xp * e.T) def calc_error(W, X, b): #J = 0. #for i in xrange(X.shape[0]): # xp = X[i, :].T # bp = b[i, :].T # e = W.T * xp - bp # J += e.T.dot(e).sum() e = X * W - b J = np.vectorize(lambda x: x * x)(e).sum() return J if __name__ == '__main__': main() # [[ 0.75759575 0.49664788] # [ 0.4370989 -0.31125436]] # x= -0.348696099486 error= 1.29145201213