バイアスとバリアンスのトレードオフ

In statistics and machine learning, the bias–variance tradeoff is the property of a set of predictive models whereby models with a lower bias in parameter estimation have a higher variance of the parameter estimates across samples, and vice versa.

バイアス

誤差のうちの、モデル由来のもの

バリアンス

誤差のうちの、訓練データのゆらぎ由来のもの

誤差

NOTE:

  • ここで述べている誤差は下図にある真の値からくるもの

バイアスとバリアンスのトレードオフ

状態特徴
バイアス=highunderfitting(未学習)
バリアンス=highoverfitting(過学習)

Bull's-eye diagram of bias and variance

Trade off of Bias and variance

Overfitting vs. underfitting

bulls-eye diagram

REFERENCES:

  • https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff
  • https://towardsdatascience.com/understanding-the-bias-variance-tradeoff-165e6942b229
  • https://ja.wikipedia.org/wiki/%E5%81%8F%E3%82%8A%E3%81%A8%E5%88%86%E6%95%A3