Embedding入门介绍以及为什么Embedding在大语言模型中很重要

如前所述，embedding向量是包含语义信息的。也就是含义相近的单词，embedding向量在空间中有相似的位置，但是，除此之外，embedding也有其它优点。

例如，实值向量表示的embedding可以进行向量运算。例如，通过对embedding向量执行向量加法和减法操作，可以推断出单词之间的语义关系。例如，对于embedding向量表示的“king”和“man”，执行“queen = king - man + woman”操作可以得到一个向量表示“queen”，这个向量与实际的“queen”向量在向量空间中非常接近。

此外，实值向量embedding还可以在多个自然语言处理任务中进行共享和迁移。例如，在训练一个情感分析模型时，可以使用在句子分类任务中训练的嵌入向量，这些向量已经学习到了单词的语义和上下文信息，从而可以提高模型的准确性和泛化能力。

综上所述，实值向量embedding可以通过从大量的语言数据中学习单词的语义和上下文信息，从而能够表示单词的语义，并且可以进行向量运算和在不同自然语言处理任务中共享和迁移。

Embedding在大模型中的价值

前面说的其实都是Embedding在之前的价值。但是，大语言模型时代，例如ChatGPT这样的模型流行之后，大家发现embedding有了新的价值，即解决大模型的输入限制。

此前，OpenAI官方也发布了一个案例，即如何使用embedding来解决长文本输入问题，我们DataLearner官方博客也介绍了这个教程： OpenAI官方教程：如何使用基于embeddings检索来解决GPT无法处理长文本和最新数据的问题。

像 GPT-3 这样的语言模型有一个限制，即它们可以处理的输入文本量有限。这个限制通常在几千到数万个tokens之间，具体取决于模型架构和可用的硬件资源。

这意味着对于更长的文本，例如整本书或长文章，可能无法一次将所有文本输入到语言模型中。在这种情况下，文本必须被分成较小的块或“片段”，可以由语言模型单独处理。但是，这种分段可能会导致输出的上下文连贯性和整体连贯性问题，从而降低生成文本的质量。

这就是Embedding的重要性所在。通过将单词和短语表示为高维向量，Embedding允许语言模型以紧凑高效的方式编码输入文本的上下文信息。然后，模型可以使用这些上下文信息来生成更连贯和上下文适当的输出文本，即使输入文本被分成多个片段。

此外，可以在大量文本数据上预训练Embedding，然后在小型数据集上进行微调，这有助于提高语言模型在各种自然语言处理应用程序中的准确性和效率。

如何基于Embedding让大模型解决长文本（如PDF）的输入问题？

这里我们给一个案例来说明如何用Embedding来让ChatGPT回答超长文本中的问题。

如前所述，大多数大语言模型都无法处理过长的文本。除非是GPT-4-32K，否则大多数模型如ChatGPT的输入都很有限。假设此时你有一个很长的PDF，那么，你该如何让大模型“读懂”这个PDF呢？

首先，你可以基于这个PDF来创建向量embedding，并在数据库中存储（当前已经有一些很不错的向量数据库了，如Pinecone）。

接下来，假设你想问个问题“这个文档中关于xxx是如何讨论的？”。那么，此时你有2个向量embedding了，一个是你的问题embedding，一个是之前PDF的embedding。此时，你应该基于你的问题embedding，去向量数据库中搜索PDF中与问题embedding最相似的embedding。然后，把你的问题embedding和检索的得到的最相似的embedding一起给ChatGPT，然后让ChatGPT来回答。

当然，你也可以针对问题和检索得到的embedding做一些提示工程，来优化ChatGPT的回答。

如何生成和存储Embedding

其实，生成Embedding的方法有很多。这里列举几个比较经典的方法和库：

1. Word2Vec：是一种基于神经网络的模型，用于将单词映射到向量空间中。Word2Vec包括两种架构：CBOW (Continuous Bag-of-Words) 和 Skip-gram。CBOW 通过上下文预测中心单词，而 Skip-gram 通过中心单词预测上下文单词。这些预测任务训练出来的神经网络权重可以用作单词的嵌入。

2. GloVe：全称为 Global Vectors for Word Representation，是一种基于共现矩阵的模型。该模型使用统计方法来计算单词之间的关联性，然后通过奇异值分解（SVD）来生成嵌入。GloVe 的特点是在计算上比 Word2Vec 更快，并且可以扩展到更大的数据集。

3. FastText：是由 Facebook AI Research 开发的一种模型，它在 Word2Vec 的基础上添加了一个字符级别的 n-gram 特征。这使得 FastText 可以将未知单词的嵌入表示为已知字符级别 n-gram 特征的平均值。FastText 在处理不规则单词和罕见单词时表现出色。

4. OpenAI的Embeddings：这是OpenAI官方发布的Embeddings的API接口。目前有2代产品。目前主要是第二代模型：text-embedding-ada-002。它最长的输入是8191个tokens，输出的维度是1536。

这些方法都有各自的优点和适用场景，选择最适合特定应用程序的嵌入生成方法需要根据具体情况进行评估和测试。不过，有人测试过，OpenAI应该是目前最好的。不过，收费哦~但是很便宜，1000个tokens只要0.0004美元，也就是1美元大约可以返回3000页的内容。获取之后直接保存就行。

目前，embedding的保存可以考虑使用向量数据库。例如，

1. Pinecone的产品，最近刚以10亿美元的估值融资了1亿美金。Shopify, Brex, Hubspot都是它产品的用户。
2. Milvus是一个开源的向量数据库。
3. Anthropic VDB，这是Anthropic公司开发的安全性高的向量数据库,能够对向量数据进行改变、删除、替换等操作,同时保证数据库完整性。

总结

embedding在word2vec发布的时候很火。这几年似乎没那么热，但是随着大语言模型的长输入限制越来越明显，embedding技术重新被大家所重视。