KLダイバージェンス(KL情報量)

  • KLダイバージェンス(KL情報量とも呼ばれる)は、2つの確率分布に対してそれらの異なる具合をはかる指標
  • 各々の確率分布の自己情報量の差の期待値を取っている

$$ {{\begin{eqnarray} D_{KL}(P||Q) &=& \sum_{x} P(X = x){(-logQ(X = x)) - (-logP(X = x))} \\ &=& \sum_{x} P(X = x)log\frac{P(X = x)}{Q(X = x)} \end{eqnarray}} } $$

  • KLダイバージェンスはダイバージェンスという名前がついていますが数学的な「距離」ではない
  • PとQを入れ替えると値が変わるため、距離の条件として定義されている対象性を満たしていない
  • 意味としてはある確率分布PとQのそれぞれの同じ確率変数のときの距離と考えて間違いはない
  • つまりはそのPとQがどれだけ異なっているかどうかを図れる

REF

  • https://qiita.com/g-k/items/21574795b6a8db51f912