skip-gram

  • スキップグラムはCBOWの逆で、入力が一つで出力が複数のネットワーク構造
  • 損失関数はイカ

$$ L = -\frac{1}{T}\sum_{t=1}^{T}(logP(w_{t-1}|w_{t}) + logP(w_{t+1}|w_{t})) $$