从零开始训练简易版 BERT

Bert 的作用是得到上下文相关的向量表示。举一个例子，

• 「你来就来，还带礼物。你几个意思啊？」
• 「别多想。我就意思一下」
• 「我看不懂这句话里这个词是什么意思」
• 「你这么说就没意思了啊」

你看，这几句话里的「意思」，它的含义是不同的。向量表示的时候我们肯定不能静态地给同一个词相同的向量表示。