Neural networks and deep learningの3章、Improving the way neural networks learn で、ニューラルネットワークの学習を改善する手法がいろいろ述べられていて、 ソフトマックス で出力層の活性関数を別のものに変更した場合について述べられている。

ソフトマックス関数

出力層の活性関数をシグモイド関数ではなく、以下の様な形とする:

これをソフトマックス関数と呼ぶ。

シグモイド関数ではニューロンの出力は、 への入力の合計のみに依存していたが、 ソフトマックス関数では出力層全てのニューロンに関係する。

は0~1の値を取り、すべてのでの合計値は1となる。

これはニューラルネットワークを多クラス分類に使う時に、 出力がそれぞれのクラスである確率であると考えるときに便利。

ソフトマックス関数に対するコスト関数

出力層の活性関数にソフトマックス関数を適用するニューラルネットワークのコスト関数を、 正解パターンであるだけを用いた

と置く。

が0~1に限られているので、その対数の値は負となり、そのためコストは必ず0以上となる。 分類が正しく行われてが1に近づくとコスト関数の値は0に近づき、 そうでない場合には正の値になる。

コスト関数の微分

上記のコスト関数のウェイトやバイアスによる偏微分は、 誤差逆伝播法と同様に、 ニューロンへの入力でチェインルールを適用する:

の場合、 より となる。

の場合、 より となる。

「ソフトマックス」という名前の由来

べき乗の項に正の定数を掛けた

の極限を考えると、の中で一番大きな値だけが1に、それ以外の値は0となり、最大値のみを有効にする関数と考えられる。

それに比べれば、の状態は緩い最大化と考えられる。