虹科干貨丨來(lái)抄作業(yè)！用Redis VSS，讓大語(yǔ)言模型更懂你

引導(dǎo)語(yǔ)：

好沮喪，大語(yǔ)言模型不懂我怎么辦，怎么也搜不到想要的答案(ㄒoㄒ)當(dāng)當(dāng)當(dāng)當(dāng)，Redis VSS閃亮登場(chǎng)，不必微調(diào)模型，也能輕松駕馭大語(yǔ)言，快速解答你的疑慮，滿足你的求知欲，你的AI好伙伴！

簡(jiǎn)介：使用大型語(yǔ)言模型(Large Language Model, LLM)時(shí)，經(jīng)常需要檢索與問(wèn)題相關(guān)的數(shù)據(jù)作為語(yǔ)境，這是為了在不微調(diào)LLM的情況下，讓LLM了解您的自定義數(shù)據(jù)。向量搜索是一種很流行的數(shù)據(jù)檢索策略，因?yàn)樗苌瞄L(zhǎng)匹配相似的數(shù)據(jù)。Redis原生支持向量相似性搜索，專為速度而設(shè)計(jì)。

朋友圈文案：檢索不到想要的信息？怎么才能夠讓大語(yǔ)言模型更懂你呢？Redis VSS向量檢索來(lái)助力，更快的對(duì)話式搜索，讓大語(yǔ)言模型成為更懂你的朋友。
關(guān)鍵詞：Redis；向量檢索；大語(yǔ)言模型；

在這個(gè)簡(jiǎn)短的教程中，我們將使用 Relevance AI、Redis VSS、OpenAI GPT 和 Cohere Wikipedia 嵌入創(chuàng)建一條LLM鏈，這使得我們能夠使用Redis向量搜索向百科提問(wèn)，根據(jù)我們的問(wèn)題搜索最相似的文章。對(duì)于嵌入向量，它們是表示各種類型數(shù)據(jù)的數(shù)字列表，在這里，我們使用Cohere多語(yǔ)言模型生成的嵌入向量。
為了按照本教程進(jìn)行操作，您需要一個(gè)支持JSON文檔數(shù)據(jù)結(jié)構(gòu)，且內(nèi)置實(shí)時(shí)搜索和查詢功能的Redis數(shù)據(jù)庫(kù)。您可以選擇在Redis Enterprise Cloud上創(chuàng)建，或者在Docker中使用Redis Stack創(chuàng)建。

一、設(shè)置Redis作為向量數(shù)據(jù)庫(kù)

運(yùn)行Redis之后，我們從HuggingFace上導(dǎo)入Cohere的多語(yǔ)言維基百科嵌入數(shù)據(jù)集，這只需要幾個(gè)簡(jiǎn)單的步驟，您可以在這個(gè)jupyter筆記本中查看完整的代碼。

步驟 1. 安裝redis和datasets的Python庫(kù)。

步驟 2. 創(chuàng)建一個(gè)客戶端連接。

步驟 3. 下載樣本數(shù)據(jù)集。

步驟 4. 使用JSON將每個(gè)文檔導(dǎo)入Redis。

步驟 5. 創(chuàng)建一個(gè)向量搜索索引

此命令指定索引Wikipedia，該索引在JSON中存儲(chǔ)數(shù)據(jù)，其中所有鍵都使用前綴wiki:進(jìn)行索引。在模式中，我們使用$.field_name引用JSON中的每個(gè)字段，并用名稱及其數(shù)據(jù)類型為其添加一個(gè)友好的標(biāo)簽。向量字段“emb”是向量類型，并使用HNSW作為索引類型，L2作為距離度量方式。

命令運(yùn)行后，您就擁有了支持向量相似性搜索的Redis索引。

二、建立LLM鏈

接下來(lái)，就可以進(jìn)入Relevance AI筆記本開始構(gòu)建我們的LLM鏈了。

步驟 1. 如有必要，請(qǐng)注冊(cè)Relevance AI的免費(fèi)帳戶。登錄后，選擇“構(gòu)建AI鏈”并點(diǎn)擊“創(chuàng)建新鏈”，您將進(jìn)入到一個(gè)筆記本界面。

Relevance AI鏈筆記本

步驟 2. 在執(zhí)行LLM鏈之前，您需要配置您的OpenAI API密鑰和Redis鏈接字符串。請(qǐng)從側(cè)邊欄選擇“API keys”，然后提供您的Redis鏈接字符串和OpenAI API密鑰。

步驟 3. 選擇“從Prompt開始”，為“向量搜索(Redis)”添加新的轉(zhuǎn)換。使用以下詳細(xì)信息填寫表格：

• 索引名稱：您在Redis中創(chuàng)建的索引，即wikipedia。
• 向量字段：存儲(chǔ)嵌入的字段，對(duì)于維基百科數(shù)據(jù)集，這里填emb。
• 模型Model: cohere-multilingual-22-12，生成搜索查詢的向量嵌入。
• 搜索查詢: 我們快速為L(zhǎng)LM鏈定義一個(gè)輸入。按{}并輸入{{params.question}}將其更改為變量模式。

Redis 向量搜索步驟及其輸入的示例。

步驟4. 配置LLM Prompt以使用向量搜索向Prompt中注入上下文并提問(wèn)。您可以根據(jù)自己的需要自定義Prompt。

LLM 步驟的示例，該步驟從 Redis 搜索和查詢中獲取上下文并提出問(wèn)題。

這是為了幫助人們查詢大量的信息。比如，你最喜歡周杰倫的《夜曲》，你想知道：“這首歌的吉他前奏是誰(shuí)彈奏的？”有了LLM鏈，你就可以把這個(gè)問(wèn)題扔給結(jié)合了AI的維基百科進(jìn)行搜索，它會(huì)迅速給出答案。

這不僅僅是實(shí)踐新技術(shù)，更是快速地加深你的理解并滿足你的好奇心。我們的LLM鏈就像位知識(shí)淵博的朋友，熱情地與你清茶淡話，它隨時(shí)準(zhǔn)備同你對(duì)話，這為知識(shí)搜索增添了一絲人情味。

三、部署鏈

Relevance AI提供了兩種部署鏈的方法：作為可嵌入的應(yīng)用程序或作為API端點(diǎn)。應(yīng)用程序也可以通過(guò)鏈接直接與用戶共享，用戶可以看到表格，填寫并運(yùn)行LLM鏈，這些現(xiàn)在已經(jīng)可以用于生產(chǎn)中了。

帶有可用于生產(chǎn)的 API 端點(diǎn)或可共享 URL 表單的LLM鏈的部署頁(yè)面

虹科是Redis原廠的中國(guó)區(qū)戰(zhàn)略合作伙伴。我們持續(xù)關(guān)注各行業(yè)當(dāng)下急切需求，專注于為企業(yè)解答疑問(wèn)，制定專屬服務(wù)，提供一站式數(shù)據(jù)庫(kù)和商業(yè)智能解決方案。了解更多【企業(yè)級(jí)數(shù)據(jù)庫(kù)解決方案】及【企業(yè)緩存指南】，歡迎前往虹科云科技官網(wǎng)！

聯(lián)系虹科工程師：15528663362

聯(lián)系方式鏈接：https://t.dustess.com/Fc6fpUjg

官網(wǎng)鏈接：https://hongcloudtech.com/