ソフトマックス関数

実際のモデル

  • 要は単純な確率の計算
  • expは指数なので、入力xの大きさに比例して大きくなる
  • 指数なので、-100をxに入れたとしてもプラスになる
  • なので、0より大きな数字に変換している
  • マイナスがないので、確率として解釈できる
  • 分母ではそれの総和をとるが、マイナスがないので全体と理解できる
  • 結果、ある $exp(x_i)$の起こりやすさとも解釈できる
  • 複数クラスに対応可能なので、ニューラルネットワークの最後の層に組み込まれがち

対数ソフトマックス関数

  • 理由は以下参照
  • https://blog.feedly.com/tricks-of-the-trade-logsumexp/

ソフトマックス (softmax)

$$ \displaystyle s(z)=\frac{e^z}{\sum_{j}e^{z_j}} $$

  • 他クラス分類に使用される
  • 指数なので、x(ユニット)にマイナスが来ても加算でOK
  • 多値分類(3値以上)で使用される

ソフトマックス関数の微分

$$ \dfrac{\partial y_i}{\partial x_j}= \begin{cases}y_i(1-y_i)&i=j\\ -y_iy_j&i\neq j\end{cases} $$