CBOW (continuous bag-of-words)

文脈中の単語から対象単語が現れる条件付き確率を最大化することを目的とする手法 つまり、前後の単語から対象単語を推測すること

ネットワーク構造

  • 入力は複数で出力は一つのネットワーク構造をもつ
  • 中間層に複数の入力層が全結合されるモデル
  • なので、中間層では入力層の平均化される
  • 予測関数はsoftmax関数
  • 誤差関数はコンテキストからターゲットのワード同時確率として推定させる

$$ L = -\frac{1}{T}\sum_{t=1}^{T}logP(w_{t}|w_{t-1},w_{t+1}) $$

REFERENCES:

  • https://deepage.net/bigdata/machine_learning/2016/09/02/word2vec_power_of_word_vector.html
  • https://qiita.com/g-k/items/69afa87c73654af49d36