決定木

分類木(Classification Tree) と回帰木(Regression Tree)の総称して決定木 (Decision Tree) 目的は条件によって、エントロピーを下げること

種類	特徴	適用事例
回帰木	目的変数が数値データの場合に用いられる	特定企業の株価予測
分類木	目的変数がカテゴリカルデータの場合に用いられる	スパムメールとハムメールの分類

イメージ

Pros
- 可読性が高い
  - NOTE: Random ForestやXGBoostは高くない
- 説明変数・目的変数共に名義尺度から間隔尺度まで様々扱える
  - 同一カラムの単純な比較であり、正規化も必要ない
- 外れ値に対して頑健
Cons
- 過学習を起こしやすい
  - max_depthを設定する必要がある
- 線形性のあるデータには適していない
  - 損失関数を使う回帰の方がいい