什么是嵌入 (Embeddings)？

Transformer里面的嵌入 (Embeddings)是指什么？是指文字拆成 Token 后，下一步就是让模型能处理它。 这时候，嵌入登场了。每个 Token 都会被转化为一个向量，其实就是一串代表意义的数字。你可以把它想象成一张意义地图。每个词在多维空间里都有一个坐标。意思相近的词（如“医生”和“护士”）会住得很近，而“医生”和“大山”则会离得十万八千里。 虽然这个空间有成百上千个维度，但它精准捕捉了逻辑。 你会发现，“演员”和“女演员”的关系，竟然完美对应了“王子”和“公主”的关系。模型不理解定义，它只理解几何：通过距离和方向，它算出了世界的含义。