活性化関数(activation function)

$$ y = activation(x) $$

  • activationは活性化関数のこと
  • x: あるユニットでの入力と重みの類似度
  • y: あるユニットでの計算結果

Sigmoid vs. Tanh vs. Relu

歴史的には ステップ -> シグモイド -> ハイパボリックタンジェント -> ReLUだったきが。。。

REFERENCES:

  • https://ja.wikipedia.org/wiki/%E6%B4%BB%E6%80%A7%E5%8C%96%E9%96%A2%E6%95%B0
  • https://www.hellocybernetics.tech/entry/2017/06/15/072248#%E6%B4%BB%E6%80%A7%E5%8C%96%E9%96%A2%E6%95%B0%E3%81%AE%E7%A8%AE%E9%A1%9E
  • https://mathwords.net/haipaborictan
  • https://qiita.com/namitop/items/d3d5091c7d0ab669195f
  • http://da.ms.t.kanazawa-u.ac.jp/lab/hojo/zairiki/text/00common/Stepfunction.htm
  • https://mathwords.net/doukeikitei
  • https://mathtrain.jp/softmax
  • https://qiita.com/SabanoMizuni/items/ab4b73cd9b8e733da11a