CS224n Lecture 2 Word Vectors,Word Senses, and Classifier Review

1. Review: Main idea of word2vec

如图，中心词预测上下文- Skip-Gram model

随机一个词向量开始
在整个语料库上迭代每个词
试着用中心词预测周围词，如下图

中心词预测上下文

更新向量
该算法学习词向量，在词向量空间上，获得相似性和有意义的方向。U和V是长度为N的向量，需要学习得到。

Word2vec parameters and computations

词向量计算示意

注意：

在每个方向上都是一样的预测
期望模型对所有出现在上下文（相当频繁）的词给一个合理的高概率值估计

Word2vec maximizes objective function by putting similar words nearby in space

相似词在空间上的示意

2. Optimization: Gradient Descent

梯度下降示意图

Gradient Descent

更新公式（矩阵形式）
$\theta^{new}= \theta^{old} - \alpha \nabla_{\theta} J(\theta) \tag{1}$
其中 $\alpha$ 是步进或学习率
更新公式（单一参数）

$\theta_j^{new}= \theta_j^{old} - \alpha \frac{\partial }{\partial \theta_j^{old}} J(\theta) \tag{2}$

算法

Stochastic Gradient Descent

问题： $J(\theta)$ 是一个在整个语料集上遍历窗口的目标函数，可能上百万规模
- 计算其梯度非常昂贵
- 做单词更新就要非常久。
- 对于大量神经元更不好
措施：
- SGD
- 重复同一窗口，然后更新每个梯度

SGD

Stochastic gradients with word vectors!

重复地在每个窗口上取梯度进行SGD
在每个窗口，只有至多 $2m+1$ 个词，其梯度是十分稀疏的

稀疏梯度

可能仅更新实际出现的词向量
Solution: 要么需要稀疏矩阵更新操作来更新整个嵌入矩阵U 和 V的特定行，或者对每个词向量保留周围的哈希值

词向量

Word2vec: More details

Two model variants:

Skip-grams (SG)： Predict context (“outside”) words (position independent) given center word
Continuous Bag of Words (CBOW)：Predict center word from (bag of) context words

The skip-gram model with negative sampling

归一化因子计算非常昂贵，指上面图P(o|c)分母。
因此，用负采样，用下面两个训练一个二分类logistic regression ：
- 真实值：一对中心词和窗口内的上下文
- 随机噪声：一对中心词和随机词
从《Distributed Representations of Words and Phrases and their Compositionality 》中，得目标函数为

$J(\theta) = \frac{1}{T} \sum_{t=1}^{T}J_t(\theta) \tag{3}$

其中，

$J_t(\theta) = \text{log} \ \sigma(u_o^Tv_c) + \sum_{i=1}^{k} \mathbb{E}_j \sim P(w) \left[\text{log} \ \sigma (-u_j^Tv_c) \right] \tag{4}$

式4的第一个对数，最大化两个词的共现概率
更像分类的表示

词向量 $u_o, \ v_c$ 相邻， $(u_o, \ v_c)$ 作为正样本，再选取k个与词c不相邻的词（k一般不超过15）组成k个负样本。目标函数如下：

$J_{neg-sample}(o, v_c, U) = -\text{log} \ \sigma(u_o^Tv_c) + \sum_{i=1}^{k}\text{log} \ \sigma (-u_k^Tv_c) \tag{5}$

词向量 $u_o, \ v_c$ 如果相近，那么 $u_o^Tv_c$ 会很大，经过sigmoid后会趋于1， $-\text{log} \ \sigma(u_o^Tv_c)$ 大于0但接近0的树。

同理，设词k与词c不相邻， $u_k^Tv_c$ 是一个很小的数。

词w的词频为 $U(w)$ , 选择词w作为c的不相邻概率为：

$P(w) = U(w)^{\frac{3}{4}} / Z$

其中，分母Z是归一化因子，使得 $\sum P(w)=1$ ,所有词被选取概率和为1。

We investigated a number of choices for Pn(w) and found that the unigram distribution U(w) raised to the
3/4rd power (i.e.）. U(w)3/4/Z) outperformed significantly the unigram and the uniform distributions, for > > both NCE and NEG on every task we tried including language modeling (not reported here) .——引用自 Distributed Representations of Words and Phrases and their Compositionality