その他の関数

切断冪関数 (truncated power function)

$$ f(x) = x^n_+= x^n  if  x \geq 0  else  0 $$

場合分けの関数を抽象化としたモノ

  • 指数0の切断冪函数⇒単位ステップ関数
  • 指数1の切断冪函数⇒ランプ関数

動径基底関数(radial basis function; RBF)

$$ f(x)=\exp(-\beta x^2) $$

ウェーブレット(wavelet)

TODO

ネットワークのスパース化

ニューラルネットワークがスパースである ⇒ 出力が0であるユニットがたくさんある状態

仮にあるユニットへの入力が0未満になると、出力が0になる。そしてその領域において、ReLUの微分は0であるため、これが学習の係数に掛かるため、結果としてそのユニットは全く学習が行われなくなる。

REFERENCES:

  • https://ja.wikipedia.org/wiki/%E6%B4%BB%E6%80%A7%E5%8C%96%E9%96%A2%E6%95%B0
  • https://www.hellocybernetics.tech/entry/2017/06/15/072248#%E6%B4%BB%E6%80%A7%E5%8C%96%E9%96%A2%E6%95%B0%E3%81%AE%E7%A8%AE%E9%A1%9E
  • https://mathwords.net/haipaborictan
  • https://qiita.com/namitop/items/d3d5091c7d0ab669195f
  • http://da.ms.t.kanazawa-u.ac.jp/lab/hojo/zairiki/text/00common/Stepfunction.htm
  • https://mathwords.net/doukeikitei
  • https://mathtrain.jp/softmax
  • https://qiita.com/SabanoMizuni/items/ab4b73cd9b8e733da11a