NNLM(Neural Network Language Model)

顾名思义，就是神经网络语言模型，本质就是语言模型。word2vec也可以看成一种语言模型，但是为了计算的效率，把神经softmax给拿掉了，下面稍详细写写word2vec

Word2Vec

Word2Vec的结构如下图，假设输入词库的大小是V，每个词都用one-hot来表示，那么每个词的维度就是V。Input layer到Hidden layer之间用一个全连接网络相连，如果Hidden layer有N层，那么参数就是VN。而Output layer最终也是V维，因此从Hidden layer到Output layer之间的参数是VN。

有了这个结构，Word2Vec有两个目标：${\sum }_{w\in C}log(w|context)$ （Continous bag-of-word）和${\sum }_{w\in C}log(context|w)$ （Skip-gram）。当然输出层是一个向量，想把这个向量映射到某个词的概率得用softmax函数$P(y=x_n|x)=\frac{e^{x_n}}{{\sum }_{i=1}^V{e}^{x_i}}$，其中x为最终输出层输出的向量，$x_n$表示x中和单词$w_n$对应的维度的值。
有了这个结构以后，开始用back propagation来求解，但是由于Softmax激活函数中存在归一化项的缘故，推导出来的迭代公式需要对词汇表中的所有单词进行遍历，使得每次迭代过程非常缓慢。这部分推导可以参考word2vec Parameter Learning Explained by Xin Rong，里面非常详细。
为了优化back propagation，word2vec里用了hierarchy softmax，本质是把 N 分类问题变成 log(N)次二分类，但是这种方法还是训练慢。干脆更直接一点用了Negative Sample，实质上对每一个样本中每一个词都进行负例采样。
训练好以后，我们实际上是把隐藏层（Hidden layer也叫projection layer）里的权重拿出来，这样原始的V维one-hot就可以映射成一个N维的向量(N一般在50-300之间)。这个N维的向量有些很好的性质，例如叠加，再比如巴黎-法国=柏林-德国等等。我们在应用中直接load这个word2vec的词表就可以。

FastText

fastText简而言之，就是把文档中所有词通过lookup table变成向量，取平均后直接用线性分类器得到分类结果。
但是比如对下面的三个例子来说：The movie is not very good , but i still like it . [2]The movie is very good , but i still do not like it .I do not like it , but the movie is still very good .其中第1、3句整体极性是positive，但第2句整体极性就是negative。如果只是通过简单的取平均来作为sentence representation进行分类的话，可能就会很难学出词序对句子语义的影响。
这部分转自知乎
作者：董力
链接：https://www.zhihu.com/question/48345431/answer/111513229

LSA

潜在语义分析（Latent Semantic Analysis）可以基于co-occurance matrix构建词向量，实质上是基于全局语料采用SVD进行矩阵分解，然而SVD计算复杂度高，所以潜在语义分析是基于频率的

Glove

GloVe的全称叫Global Vectors for Word Representation，它是一个基于全局词频统计（count-based & overall statistics）的词表征（word representation）工具，说白了就是给共现矩阵降维，但是又不像LSA那么heavy，而是利用目标函数上的技巧来优化计算。

Glove的目标函数是
$$J=\sum _{i,j}^{N}f(X_{i,j})(v_i^T{v}_j+b_i+b_j-log(X_{i,j}){)}^2$$
其中f(x)是权重
$$\begin{gathered} f(x)=(x/xmax{)}^{0.75},当x<xmax \\ f(x)=1,当x>=xmax \end{gathered}$$
训练采用了AdaGrad的梯度下降算法，对矩阵X中的所有非零元素进行随机采样，学习曲率（learning rate）设为0.05，在vector size小于300的情况下迭代了50次，其他大小的vectors上迭代了100次，直至收敛。

这个目标函数的脑洞是这样的，两个词向量的乘积$v_i^T{v}_j$是和$P_{i,j}$正相关的，其中$P_{i,j}$表示两个词共现的概率。那么
$$P_{i,j}=\frac{X_{i,j}}{X_i}=\frac{X_{i,j}}{X_i}$$

同时希望满足以下除法的关系，因此需要加一下Log:$$P_{i,j}=\frac{X_{i,k}}{X_{j,k}}$$
那么的可以得到

$$\begin{gathered} log(P_{i,j})=v_i^T{v}_j \\ log(X_{i,j})-log(X_i)=v_i^T{v}_j \\ log(X_{i,j})=v_i^T{v}_j+b_i+b_j \\ J=\sum _{i,j}^{N}f(X_{i,j})(v_i^T{v}_j+b_i+b_j-log(X_{i,j}){)}^2 \end{gathered}$$

详细目标函数的脑洞和推导可以参考：https://blog.csdn.net/coderTC/article/details/73864097和http://www.fanyeong.com/2018/02/19/glove-in-detail/

各种比较

以下转自知乎：https://zhuanlan.zhihu.com/p/57153934

1、word2vec和tf-idf 相似度计算时的区别？

word2vec 1、稠密的 低维度的 2、表达出相似度； 3、表达能力强；4、泛化能力强；

2、word2vec和NNLM对比有什么区别？（word2vec vs NNLM）

1）其本质都可以看作是语言模型；

2）词向量只不过NNLM一个产物，word2vec虽然其本质也是语言模型，但是其专注于词向量本身，因此做了许多优化来提高计算效率：

与NNLM相比，词向量直接sum，不再拼接，并舍弃隐层；
考虑到sofmax归一化需要遍历整个词汇表，采用hierarchical softmax 和negative sampling进行优化，hierarchical softmax 实质上生成一颗带权路径最小的哈夫曼树，让高频词搜索路劲变小；negative sampling更为直接，实质上对每一个样本中每一个词都进行负例采样；

3、 word2vec负采样有什么作用？

负采样这个点引入word2vec非常巧妙，两个作用，1.加速了模型计算，2.保证了模型训练的效果，一个是模型每次只需要更新采样的词的权重，不用更新所有的权重，那样会很慢，第二，中心词其实只跟它周围的词有关系，位置离着很远的词没有关系，也没必要同时训练更新，作者这点非常聪明。

4、word2vec和fastText对比有什么区别？（word2vec vs fastText）

1）都可以无监督学习词向量， fastText训练词向量时会考虑subword；

2）fastText还可以进行有监督学习进行文本分类，其主要特点：

结构与CBOW类似，但学习目标是人工标注的分类结果；
采用hierarchical softmax对输出的分类标签建立哈夫曼树，样本中标签多的类别被分配短的搜寻路径；
引入N-gram，考虑词序特征；
引入subword来处理长词，处理未登陆词问题；

5、glove和word2vec、 LSA对比有什么区别？（word2vec vs glove vs LSA）

1）glove vs LSA

LSA（Latent Semantic Analysis）可以基于co-occurance matrix构建词向量，实质上是基于全局语料采用SVD进行矩阵分解，然而SVD计算复杂度高；
glove可看作是对LSA一种优化的高效矩阵分解算法，采用Adagrad对最小平方损失进行优化；

2）word2vec vs LSA

主题模型和词嵌入两类方法最大的不同在于模型本身。
主题模型是一种基于概率图模型的生成式模型。其似然函数可以写为若干条件概率连乘的形式，其中包含需要推测的隐含变量(即主题)
词嵌入模型一般表示为神经网络的形式，似然函数定义在网络的输出之上。需要学习网络的权重来得到单词的稠密向量表示。

3）word2vec vs glove

word2vec是局部语料库训练的，其特征提取是基于滑窗的；而glove的滑窗是为了构建co-occurance matrix，是基于全局语料的，可见glove需要事先统计共现概率；因此，word2vec可以进行在线学习，glove则需要统计固定语料信息。
word2vec是无监督学习，同样由于不需要人工标注；glove通常被认为是无监督学习，但实际上glove还是有label的，即共现次数[公式]。
word2vec损失函数实质上是带权重的交叉熵，权重固定；glove的损失函数是最小平方损失函数，权重可以做映射变换。
总体来看，glove可以被看作是更换了目标函数和权重函数的全局word2vec。