讲解 Word2vec 的原理：以语言模型为外壳、实际取训练后的权重作为词向量，分别展开用一个词预测上下文的 Skip-gram 与用上下文预测中心词的 CBOW，并推导一般情形与负采样、高频词下采样等训练 trick。
什么是 Word2vec?
在 NLP 中，把 x 看做一个句子里的一个词语，y 是这个词语的上下文词语，那么这里的 f，便是 NLP 中经常出现的『语言模型』（language model），这个模型的目的，就是判断 (x,y) 这个样本，是否符合自然语言的法则。
Word2vec 正是来源于这个思想，但它的最终目的，不是要把 f 训练得多么完美，而是只关心模型训练完后的副产物——模型参数（这里特指神经网络的权重），并将这些参数，作为输入 x 的某种向量化的表示，这个向量便叫做——词向量。
Skip-gram 和 CBOW 模型
如果是用一个词语作为输入，来预测它周围的上下文，那这个模型叫做『Skip-gram 模型』而如果是拿一个词语的上下文作为输入，来预测这个词语本身，则是 『CBOW 模型』
Skip-gram 和 CBOW 的简单情形
y 是 x 的上下文，所以 y 只取上下文里一个词语的时候，语言模型就变成：
用当前词 x 预测它的下一个词 y
使用one-hot作为 x 的一个原始输入形式。所谓 本质上是用一个只含一个 1、其他都是 0 的向量来唯一表示词语。
Skip-gram 的网络结构了，x 就是上面提到的 one-hot encoder 形式的输入，y 是在这 V 个词上输出的概率，我们希望跟真实的 y 的 one-hot encoder 一样。
首先说明一点：隐层的激活函数其实是线性的，相当于没做任何处理，我们要训练这个神经网络，用反向传播算法，本质上是链式求导。当模型训练完后，最后得到的其实是神经网络的权重。
比如现在输入一个 x 的 one-hot encoder: [1,0,0,…,0]，则在输入层到隐含层的权重里，只有对应 1 这个位置的权重被激活，这些权重的个数，跟隐含层节点数是一致的，从而这些权重组成一个向量 vx 来表示x，而因为每个词语的 one-hot encoder 里面 1 的位置是不同的，所以，这个向量 vx 就可以用来唯一表示 x。
输出 y 也是用 V 个节点表示的，对应V个词语，可以把输出节点置成 [1,0,0,…,0]，但是激活的是隐含层到输出层的权重，这些权重的个数，跟隐含层一样，也可以组成一个向量 vy，跟上面提到的 vx 维度一样，而这两种词向量 vx 和 vy，正是 Mikolov 在论文里所提到的，『输入向量』和『输出向量』，一般我们用『输入向量』
注：词向量的维度（与隐含层节点数一致）一般情况下要远远小于词语总数 V 的大小，所以 Word2vec 本质上是一种降维操作——把词语从 one-hot encoder 形式的表示降维到 Word2vec 形式的表示。
Skip-gram 更一般的情形
上面讨论的是最简单情形，即 y 只有一个词，当 y 有多个词时，网络结构如下：
可以看成是 单个x->单个y 模型的并联，cost function 是单个 cost function 的累加（取log之后）
CBOW 更一般的情形
跟 Skip-gram 相似，只不过:
Skip-gram 是预测一个词的上下文，而 CBOW 是用上下文预测这个词
网络结构如下
跟 Skip-gram 的模型并联不同，这里是输入变成了多个单词，所以要对输入处理下（一般是求和然后平均），输出的 cost function 不变。
Word2vec 的训练trick
Word2vec 本质上是一个语言模型，它的输出节点数是 V 个，对应了 V 个词语，本质上是一个多分类问题，但实际当中，词语的个数非常非常多，会给计算造成很大困难，所以需要用技巧来加速训练。
重点推荐 Xin Rong 的论文：『word2vec Parameter Learning Explained』
hierarchical softmax本质是把 N 分类问题变成 log(N)次二分类
隐含层输出一个 N 维向量 x, 但这里要预测的目标输出词，不再是用 one-hot 形式表示，而是用 huffman tree 的编码，所以跟上面 V 个权重同时存在的原始 softmax 不一样， 这里 x 可以理解为先接一个输出节点，即只有一个权重 w1 ，输出节点输出 1/1+exp(-w*x)，变成一个二分类的 LR，输出一个概率值 P1，然后根据目标词的 huffman tree 编码，将 x 再输出到下一个 LR，对应权重 w2，输出 P2，总共遇到的 LR 个数（或者说权重个数）跟 huffman tree 编码长度一致，大概有 log(V) 个，最后将这 log(V) 个 P 相乘，得到属于目标词的概率。但注意因为只有 log(V) 个权重 w 了，所以跟 V 个词并不是一一对应关系，就不能用 w 表征某个词，从而失去了词向量的意义negative sampling本质是预测总体类别的一个子集
