正則化(regularization)

過学習を抑えるためのしくみ

名前正則化特徴
ラッソ(Lasso)L1正則化説明変数の数を削減(次元圧縮)できる
リッジ(Ridge)L2正則化過学習を防いで精度を高める

定義

  • 損失関数に下の項目(正則化項)を加える
  • $λ$はハイパラ
  • $B_i$は学習データのi番目の特徴量($X_i$)に対する重みの係数

$$ \lambda \sum_{i}^{n}|w_i|^{p/1} $$

幾何学的な図

L1正則化

$$ L1: \sum_i^n |w_i| $$

L2正則化

$$ L2: \sum_i^n w_i^2 $$

REFERENCES:

  • https://aizine.ai/ridge-lasso-elasticnet/
  • https://to-kei.net/neural-network/regularization/
  • https://www.investor-daiki.com/it/ai/reguralization